TensorFlow - Amazon EMR
TensorFlow 依 Amazon EC2執行個體類型建置安全使用 TensorBoard

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

TensorFlow

TensorFlow 是適用於機器智慧和深度學習應用程式的開放原始碼符號數學程式庫。如需詳細資訊，請參閱 Amazon EMR5.17.0 版及更新版本 TensorFlow 所提供的 TensorFlow website.is。

下表列出 Amazon 7.x 系列最新版本中 TensorFlow 包含的 EMR 版本，以及 Amazon EMR 安裝的元件。 TensorFlow

如需此版本 TensorFlow 中與 一起安裝的元件版本，請參閱 7.5.0 版元件版本。

TensorFlow emr-7.5.0 的版本資訊
Amazon EMR版本標籤 TensorFlow 版本 搭配 安裝的元件 TensorFlow

emr-7.5.0

TensorFlow 2.16.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

下表列出 Amazon EMR 6.x 系列最新版本中 TensorFlow 包含的 版本，以及 Amazon EMR 安裝的元件。 TensorFlow

如需此版本 TensorFlow 中與 一起安裝的元件版本，請參閱 6.15.0 版元件版本。

TensorFlow emr-6.15.0 的版本資訊
Amazon EMR版本標籤 TensorFlow 版本 搭配 安裝的元件 TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

下表列出 Amazon 5.x 系列最新版本中 TensorFlow 包含的 EMR 版本，以及 Amazon EMR 安裝的元件。 TensorFlow

如需此版本 TensorFlow 中與 一起安裝的元件版本，請參閱 5.36.2 版元件版本。

TensorFlow emr-5.36.2 的版本資訊
Amazon EMR版本標籤 TensorFlow 版本 搭配 安裝的元件 TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow 依 Amazon EC2執行個體類型建置

Amazon 會根據您為叢集選擇的執行個體類型，EMR使用不同的 TensorFlow 程式庫建置。Amazon EMR支援 TensorFlow 適用於 EMR-7.5.0 及更高版本的 aarch64 (Graviton) 執行個體類型的叢集。下表根據執行個體類型列出組建。

EC2 執行個體類型 TensorFlow 組建

M5 和 C5

採用 Intel MKL最佳化的 Tensorflow 2.16.1

P2, P4D, P5, G4DN, G5, G6 和 GR6

Tensorflow 2.16.1 搭配 CUDA 12.3、cuDNN 8.9.7.29

P3, P3DN, G3 和 G3S

Tensorflow 2.16.1 搭配 CUDA 12.3、cuDNN 8.9.7.29、NCCL2.20.3-1

Nvidia NCCL 僅適用於 P3 執行個體。最終使用者授權合約 (EULA)：在 Amazon 上使用 Nvidia 元件EMR，即表示您同意產品 EULA中概述的條款與條件。

Graviton 執行個體以外的所有其他執行個體

Tensorflow 2.16.1

安全

除了遵循 TensorFlow 安全使用 中的指引之外，我們建議您在私有子網路中啟動叢集，以協助您限制對信任來源的存取。如需詳細資訊，請參閱《Amazon 管理指南》中的 Amazon VPC選項。 EMR

使用 TensorBoard

TensorBoard 是 TensorFlow 程式的視覺化工具套件。如需詳細資訊，請參閱 Tensorflow 網站上的TensorBoard視覺化學習。

若要 TensorBoard 搭配 Amazon 使用 EMR，您必須在叢集主節點 TensorBoard 上啟動 。

在 Amazon 上使用張量板與 Tensorflow EMR

  1. 使用 連線至叢集的主節點SSH。如需詳細資訊，請參閱《Amazon EMR管理指南》中的使用 連線至主節點SSH。

  2. 輸入以下命令在主節點上啟動 Tensorboard。以您在主節點上產生的目錄取代 /my/log/directory 並使用摘要寫入器存放摘要資料。

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    根據預設，主節點 TensorBoard 會使用連接埠 6006 和主公有DNS名稱託管。啟動後 TensorBoard，命令列輸出會顯示可用來連接的 URL TensorBoard，如下列範例所示：

    TensorBoard 2.16.1 at http://master-public-dns-name:6006 (Press CTRL+C to quit)

  3. 設定從信任用戶端的主節點上存取 Web 界面。如需詳細資訊，請參閱《Amazon 管理指南》中的檢視 Amazon EMR叢集上託管的 Web 介面。 EMR

  4. 在 TensorBoard 開啟 http://master-public-dns-name:6006。