Memahami MSK Connect

MSKConnect adalah fitur Amazon MSK yang memudahkan pengembang untuk melakukan streaming data ke dan dari cluster Apache Kafka mereka. MSK Connect menggunakan Kafka Connect versi 2.7.1 atau 3.7.x, yang merupakan kerangka kerja sumber terbuka untuk menghubungkan cluster Apache Kafka dengan sistem eksternal seperti database, indeks pencarian, dan sistem file. Dengan MSK Connect, Anda dapat menggunakan konektor terkelola penuh yang dibuat untuk Kafka Connect yang memindahkan data ke atau menarik data dari penyimpanan data populer seperti Amazon S3 dan OpenSearch Amazon Service. Anda dapat menerapkan konektor yang dikembangkan oleh pihak ke-3 seperti Debezium untuk streaming log perubahan dari database ke cluster Apache Kafka, atau menyebarkan konektor yang ada tanpa perubahan kode. Konektor secara otomatis menskalakan untuk menyesuaikan perubahan beban dan Anda hanya membayar untuk sumber daya yang Anda gunakan.

Gunakan konektor sumber untuk mengimpor data dari sistem eksternal ke topik Anda. Dengan konektor wastafel, Anda dapat mengekspor data dari topik Anda ke sistem eksternal.

MSKConnect mendukung konektor untuk cluster Apache Kafka apa pun dengan konektivitas ke AmazonVPC, apakah itu MSK cluster atau cluster Apache Kafka yang dihosting secara independen.

MSKConnect terus memantau kesehatan konektor dan status pengiriman, menambal dan mengelola perangkat keras yang mendasarinya, dan menskalakan konektor secara otomatis agar sesuai dengan perubahan throughput.

Untuk mulai menggunakan MSK Connect, lihatMemulai MSK Connect.

Untuk mempelajari AWS sumber daya yang dapat Anda buat dengan MSK Connect, lihat Memahami konektorBuat plugin kustom, danMemahami pekerja MSK Connect.

Untuk informasi tentang MSK ConnectAPI, lihat APIReferensi Amazon MSK Connect.

Manfaat menggunakan Amazon MSK Connect

Apache Kafka adalah salah satu platform streaming open source yang paling banyak diadopsi untuk menelan dan memproses aliran data real-time. Dengan Apache Kafka, Anda dapat memisahkan dan secara mandiri menskalakan aplikasi penghasil data dan penggunaan data Anda.

Kafka Connect adalah komponen penting dalam membangun dan menjalankan aplikasi streaming dengan Apache Kafka. Kafka Connect menyediakan cara standar untuk memindahkan data antara Kafka dan sistem eksternal. Kafka Connect sangat skalabel dan dapat menangani volume besar data Kafka Connect menyediakan serangkaian API operasi dan alat yang kuat untuk mengonfigurasi, menyebarkan, dan memantau konektor yang memindahkan data antara topik Kafka dan sistem eksternal. Anda dapat menggunakan alat ini untuk menyesuaikan dan memperluas fungsionalitas Kafka Connect untuk memenuhi kebutuhan spesifik aplikasi streaming Anda.

Anda mungkin menghadapi tantangan saat mengoperasikan kluster Apache Kafka Connect sendiri, atau ketika Anda mencoba memigrasi aplikasi Apache Kafka Connect open source ke. AWS Tantangan ini termasuk waktu yang diperlukan untuk menyiapkan infrastruktur dan penerapan aplikasi, hambatan rekayasa saat menyiapkan cluster Apache Kafka Connect yang dikelola sendiri, dan overhead operasional administratif.

Untuk mengatasi tantangan ini, sebaiknya gunakan Amazon Managed Streaming for Apache Kafka Connect (Amazon MSK Connect) untuk memigrasikan aplikasi Apache Kafka Connect open source Anda. AWS Amazon MSK Connect menyederhanakan penggunaan Kafka Connect untuk mengalirkan data ke dan dari antara kluster Apache Kafka dan sistem eksternal, seperti database, indeks pencarian, dan sistem file.