TensorFlow - Amazon EMR
TensorFlow compilations par type d'EC2instance AmazonSécuritéEn utilisant TensorBoard

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

TensorFlow

TensorFlow est une bibliothèque mathématique symbolique open source pour les applications d'intelligence artificielle et d'apprentissage profond. Pour plus d'informations, consultez le TensorFlow site Web. TensorFlow est disponible avec les EMR versions 5.17.0 et ultérieures d'Amazon.

Le tableau suivant répertorie la version TensorFlow incluse dans la dernière version de la série Amazon EMR 7.x, ainsi que les composants avec lesquels Amazon EMR installe. TensorFlow

Pour connaître la version des composants installés TensorFlow dans cette version, consultez la version 7.5.0 Versions des composants.

TensorFlow informations de version pour emr-7.5.0
Étiquette EMR de sortie Amazon TensorFlow Version Composants installés avec TensorFlow

emr-7.5.0

TensorFlow 2.16.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

Le tableau suivant répertorie la version TensorFlow incluse dans la dernière version de la série Amazon EMR 6.x, ainsi que les composants avec lesquels Amazon EMR installe. TensorFlow

Pour connaître la version des composants installés TensorFlow dans cette version, consultez la version 6.15.0 Versions des composants.

TensorFlow informations de version pour emr-6.15.0
Étiquette EMR de sortie Amazon TensorFlow Version Composants installés avec TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

Le tableau suivant répertorie la version TensorFlow incluse dans la dernière version de la série Amazon EMR 5.x, ainsi que les composants avec lesquels Amazon EMR installe. TensorFlow

Pour la version des composants installés TensorFlow dans cette version, voir la version 5.36.2 Versions des composants.

TensorFlow informations de version pour emr-5.36.2
Étiquette EMR de sortie Amazon TensorFlow Version Composants installés avec TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow compilations par type d'EC2instance Amazon

Amazon EMR utilise différentes versions de la TensorFlow bibliothèque en fonction des types d'instances que vous choisissez pour votre cluster. Amazon EMR prend en charge TensorFlow les clusters dotés de types d'instances aarch64 (Graviton) pour les versions EMR -7.5.0 et supérieures. Le tableau suivant répertorie les builds par type d'instance.

Types d'instances EC2 TensorFlow construire

M5 et C5

Tensorflow 2.16.1 avec optimisation Intel MKL

P2, P4D, P5, G4DN, G5, G6 et GR6

Tensorflow 2.16.1 avec CUDA 12.3, cu 8.9.7.29 DNN

P3, P3DN, G3 et G3S

Tensorflow 2.16.1 avec CUDA 12.3, cu 8.9.7.29, 2.20.3-1 DNN NCCL

Nvidia n'NCCLest disponible que sur les instances P3. Contrat de licence utilisateur final (EULA) : En utilisant les composants Nvidia sur AmazonEMR, vous acceptez les termes et conditions décrits dans le produit EULA.

Tous les autres sauf les instances de Graviton

Tensorflow 2.16.1

Sécurité

En plus de suivre les instructions de la section Utilisation TensorFlow sécurisée, nous vous recommandons de lancer votre cluster dans un sous-réseau privé afin de limiter l'accès aux sources fiables. Pour plus d'informations, consultez les VPCoptions Amazon dans le guide EMR de gestion Amazon.

En utilisant TensorBoard

TensorBoard est une suite d'outils de visualisation pour les TensorFlow programmes. Pour plus d'informations, voir TensorBoard: Apprentissage visualisé sur le site Web de Tensorflow.

Pour l'utiliser TensorBoard avec AmazonEMR, vous devez commencer par TensorBoard le nœud principal du cluster.

Pour utiliser Tensorboard avec Tensorflow sur Amazon EMR

  1. Connectez-vous au nœud principal du cluster à l'aide deSSH. Pour plus d'informations, consultez Connect to the master node SSH à l'aide de l'Amazon EMR Management Guide.

  2. Tapez la commande suivante pour démarrer Tensorboard sur le nœud principal. Remplacez /my/log/directory par un répertoire sur le nœud principal où vous avez généré et résumé des données stockées à l'aide d'un enregistreur de résumé.

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    Par défaut, le nœud maître héberge TensorBoard en utilisant le port 6006 et le DNS nom public principal. Une fois que vous avez démarré TensorBoard, la sortie de la URL ligne de commande présente les informations auxquelles vous pouvez vous connecter TensorBoard, comme indiqué dans l'exemple suivant :

    TensorBoard 2.16.1 at http://master-public-dns-name:6006 (Press CTRL+C to quit)

  3. Configurez l'accès aux interfaces web sur le nœud principal à partir de clients de confiance. Pour plus d'informations, consultez Afficher les interfaces Web hébergées sur des EMR clusters Amazon dans le guide EMR de gestion Amazon.

  4. Ouvert TensorBoard àhttp://master-public-dns-name:6006.