TensorFlow - Amazon EMR
TensorFlow dibangun berdasarkan jenis EC2 instans AmazonKeamananMenggunakan TensorBoard

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

TensorFlow

TensorFlow adalah perpustakaan matematika simbolik sumber terbuka untuk kecerdasan mesin dan aplikasi pembelajaran mendalam. Untuk informasi lebih lanjut, lihat situs TensorFlow web. TensorFlow tersedia dengan versi EMR rilis Amazon 5.17.0 dan yang lebih baru.

Tabel berikut mencantumkan versi yang TensorFlow disertakan dalam rilis terbaru seri Amazon EMR 7.x, bersama dengan komponen yang EMR dipasang Amazon. TensorFlow

Untuk versi komponen yang diinstal TensorFlow dalam rilis ini, lihat Rilis Versi Komponen 7.5.0.

TensorFlow informasi versi untuk emr-7.5.0
Label EMR Rilis Amazon TensorFlow Versi Komponen Dipasang Dengan TensorFlow

emr-7.5.0

TensorFlow 2.16.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

Tabel berikut mencantumkan versi yang TensorFlow disertakan dalam rilis terbaru seri Amazon EMR 6.x, bersama dengan komponen yang EMR dipasang Amazon. TensorFlow

Untuk versi komponen yang diinstal TensorFlow dalam rilis ini, lihat Rilis Versi Komponen 6.15.0.

TensorFlow informasi versi untuk emr-6.15.0
Label EMR Rilis Amazon TensorFlow Versi Komponen Dipasang Dengan TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

Tabel berikut mencantumkan versi yang TensorFlow disertakan dalam rilis terbaru seri Amazon EMR 5.x, bersama dengan komponen yang EMR dipasang Amazon. TensorFlow

Untuk versi komponen yang diinstal TensorFlow dalam rilis ini, lihat Rilis 5.36.2 Versi Komponen.

TensorFlow informasi versi untuk emr-5.36.2
Label EMR Rilis Amazon TensorFlow Versi Komponen Dipasang Dengan TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow dibangun berdasarkan jenis EC2 instans Amazon

Amazon EMR menggunakan build TensorFlow pustaka yang berbeda tergantung pada jenis instans yang Anda pilih untuk klaster Anda. Amazon EMR mendukung TensorFlow klaster dengan tipe instans aarch64 (Graviton) untuk -7.5.0 dan yang lebih baru. EMR Tabel berikut mencantumkan build berdasarkan jenis instans.

EC2jenis contoh TensorFlow membangun

M5 dan C5

Tensorflow 2.16.1 dengan optimasi Intel MKL

P2, P4D, P5, G4DN, G5, G6 dan GR6

Tensorflow 2.16.1 dengan CUDA 12.3, cu 8.9.7.29 DNN

P3, P3DN, G3 dan G3S

Tensorflow 2.16.1 dengan CUDA 12.3, cu 8.9.7.29, 2.20.3-1 DNN NCCL

Nvidia hanya NCCL tersedia pada instans P3. Perjanjian Lisensi Pengguna Akhir (EULA): Dengan menggunakan komponen Nvidia di AmazonEMR, Anda menyetujui syarat dan ketentuan yang diuraikan dalam produk EULA.

Semua yang lain kecuali contoh Graviton

Tensorflow 2.16.1

Keamanan

Selain mengikuti panduan dalam Menggunakan TensorFlow dengan aman, kami menyarankan Anda meluncurkan klaster Anda di subnet pribadi untuk membantu Anda membatasi akses ke sumber tepercaya. Untuk informasi selengkapnya, lihat VPCopsi Amazon di Panduan EMR Manajemen Amazon.

Menggunakan TensorBoard

TensorBoard adalah seperangkat alat visualisasi untuk TensorFlow program. Untuk informasi lebih lanjut, lihat TensorBoard: Pembelajaran yang divisualisasikan di situs web Tensorflow.

Untuk menggunakan TensorBoard dengan AmazonEMR, Anda harus mulai TensorBoard pada node master cluster.

Untuk menggunakan tensorboard dengan Tensorflow di Amazon EMR

  1. Connect ke master node dari cluster menggunakanSSH. Untuk informasi selengkapnya, lihat Connect ke master node menggunakan SSH Panduan EMR Manajemen Amazon.

  2. Ketikkan perintah berikut untuk memulai Tensorboard pada simpul utama. Ganti /my/log/directory dengan direktori pada simpul utama di mana Anda telah membuat dan menyimpan data ringkasan menggunakan penulis ringkasan.

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    Secara default, master node host TensorBoard menggunakan port 6006 dan DNS nama publik master. Setelah Anda mulai TensorBoard, output baris perintah menyajikan URL yang dapat digunakan untuk terhubung ke TensorBoard, seperti yang ditunjukkan pada contoh berikut:

    TensorBoard 2.16.1 at http://master-public-dns-name:6006 (Press CTRL+C to quit)

  3. Mengatur akses ke antarmuka web pada simpul utama dari klien tepercaya. Untuk informasi selengkapnya, lihat Melihat antarmuka web yang dihosting di EMR kluster Amazon di Panduan EMRManajemen Amazon.

  4. Buka TensorBoard dihttp://master-public-dns-name:6006.