TensorFlow - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

TensorFlow

TensorFlow ist eine symbolische Open-Source-Mathematikbibliothek für maschinelle Intelligenz und Deep-Learning-Anwendungen. Weitere Informationen finden Sie TensorFlow auf der Website. TensorFlow ist mit der EMR Amazon-Release-Version 5.17.0 und höher verfügbar.

In der folgenden Tabelle sind die Version von TensorFlow aufgeführt, die in der neuesten Version der Amazon EMR 7.x-Serie enthalten ist, sowie die Komponenten, mit denen Amazon EMR installiert. TensorFlow

Informationen zur Version der Komponenten, mit denen TensorFlow in dieser Version installiert wurde, finden Sie unter Komponentenversionen von Version 7.5.0.

TensorFlow Versionsinformationen für emr-7.5.0
EMRAmazon-Freigabeetikett TensorFlow Ausführung Komponenten, die mit installiert wurden TensorFlow

emr-7.5.0

TensorFlow 2.16.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

In der folgenden Tabelle sind die Version von TensorFlow aufgeführt, die in der neuesten Version der Amazon EMR 6.x-Serie enthalten ist, sowie die Komponenten, mit denen Amazon EMR installiert. TensorFlow

Informationen zur Version der Komponenten, mit denen TensorFlow in dieser Version installiert wurde, finden Sie unter Komponentenversionen von Version 6.15.0.

TensorFlow Versionsinformationen für emr-6.15.0
EMRAmazon-Freigabeetikett TensorFlow Ausführung Komponenten, die mit installiert wurden TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

In der folgenden Tabelle sind die Version von TensorFlow aufgeführt, die in der neuesten Version der Amazon EMR 5.x-Serie enthalten ist, sowie die Komponenten, mit denen Amazon EMR installiert. TensorFlow

Informationen zur Version der Komponenten, mit denen TensorFlow in dieser Version installiert wurde, finden Sie unter Komponentenversionen von Version 5.36.2.

TensorFlow Versionsinformationen für emr-5.36.2
EMRAmazon-Freigabeetikett TensorFlow Ausführung Komponenten, die mit installiert wurden TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow Builds nach EC2 Amazon-Instanztyp

Amazon EMR verwendet je nach den Instance-Typen, die Sie für Ihren Cluster auswählen, unterschiedliche Builds der TensorFlow Bibliothek. Amazon EMR unterstützt TensorFlow Cluster mit aarch64-Instance-Typen (Graviton) für EMR -7.5.0 und höher. In der folgenden Tabelle sind die Builds nach Instance-Typ gruppiert aufgelistet.

EC2-Instance-Typen TensorFlow bauen

M5 und C5

Tensorflow 2.16.1 mit Intel-Optimierung MKL

P2, P4D, P5, G4DN, G5, G6 und GR6

Tensorflow 2.16.1 mit 12,3, cu 8.9.7.29 CUDA DNN

P3, P3DN, G3 und G3S

Tensorflow 2.16.1 mit 12.3, cu 8.9.7.29, 2.20.3-1 CUDA DNN NCCL

NCCLNvidia ist nur auf P3-Instances verfügbar. Endbenutzer-Lizenzvereinbarung (EULA): Durch die Verwendung von Nvidia-Komponenten bei Amazon EMR erklären Sie sich mit den im Produkt aufgeführten Bedingungen einverstandenEULA.

Alle anderen außer Graviton-Instances

Tensorflow 2.16.1

Sicherheit

Zusätzlich zu den Anweisungen unter TensorFlow Sichere Verwendung empfehlen wir, Ihren Cluster in einem privaten Subnetz zu starten, um den Zugriff auf vertrauenswürdige Quellen einzuschränken. Weitere Informationen finden Sie unter VPCAmazon-Optionen im Amazon EMR Management Guide.

Verwenden TensorBoard

TensorBoard ist eine Suite von Visualisierungstools für TensorFlow Programme. Weitere Informationen finden Sie unter TensorBoard: Visualisiertes Lernen auf der Tensorflow-Website.

Für die Verwendung TensorBoard mit Amazon EMR müssen Sie TensorBoard auf dem Cluster-Masterknoten beginnen.

Um Tensorboard mit Tensorflow bei Amazon zu verwenden EMR
  1. Stellen Sie mithilfe von Connect zum Master-Knoten des Clusters herSSH. Weitere Informationen finden Sie unter Connect dem Master-Knoten herstellen SSH im Amazon EMR Management Guide.

  2. Geben Sie den folgenden Befehl ein, um TensorBoard auf dem Master-Knoten zu starten. Ersetzen Sie /my/log/directory mit dem Verzeichnis auf dem Master-Knoten, in dem Sie unter Verwendung einer Summary Writer-Operation die Übersichtsdaten gespeichert haben.

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    Standardmäßig verwendet der Master-Knoten den TensorBoard Port 6006 und den öffentlichen DNS Masternamen. Nach dem Start TensorBoard wird in der Befehlszeilenausgabe URL das angezeigt, mit dem eine Verbindung hergestellt werden kann TensorBoard, wie im folgenden Beispiel gezeigt:

    TensorBoard 2.16.1 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. Richten Sie den Zugriffs auf Webschnittstellen auf dem Master-Knoten von vertrauenswürdigen Clients aus ein. Weitere Informationen finden Sie unter Auf EMR Amazon-Clustern gehostete Weboberflächen anzeigen im Amazon EMR Management Guide.

  4. Öffnet TensorBoard unterhttp://master-public-dns-name:6006.