MSK Connect を理解する

MSK Connect は、デベロッパーが Apache Kafka クラスターとの間でデータを簡単にストリーミングMSKできるようにする Amazon の機能です。 MSKConnect は Kafka Connect バージョン 2.7.1 または 3.7.x を使用します。これは、Apache Kafka クラスターをデータベース、検索インデックス、ファイルシステムなどの外部システムに接続するためのオープンソースフレームワークです。MSK Connect を使用すると、Kafka Connect 用に構築されたフルマネージドコネクタをデプロイして、Amazon S3 や Amazon OpenSearch Service などの一般的なデータストアにデータを移動したり、データストアからデータを取得したりできます。データベースから Apache Kafka クラスターに変更ログをストリーミングするために Debezium などのサードパーティによって開発されたコネクタをデプロイするか、コードを変更せずに既存のコネクタをデプロイできます。コネクタは、ロードの変化に合わせてオートスケーリングされ、使用したリソースに対してのみ料金が発生します。

ソースコネクタを使用して、外部システムからトピックにデータをインポートします。シンクコネクタを使用すると、トピックから外部システムにデータをエクスポートできます。

MSK Connect は、 クラスターまたは個別にホストされる Apache Kafka MSKクラスターのいずれであってもVPC、Amazon に接続できる任意の Apache Kafka クラスターのコネクタをサポートします。

MSK Connect は、コネクタの状態と配信状態を継続的にモニタリングし、基盤となるハードウェアにパッチを適用して管理し、スループットの変化に合わせてコネクタを自動スケーリングします。

MSK Connect の使用を開始するには、「」を参照してくださいMSK Connect の開始方法。

MSK Connect で作成できる AWS リソースについてはコネクタを理解する、「」、カスタムプラグインの作成「」、および「」を参照してくださいMSK Connect ワーカーを理解する。

MSK Connect の詳細についてはAPI、「Amazon MSK Connect APIリファレンス」を参照してください。

Amazon MSK Connect を使用する利点

Apache Kafka は、リアルタイムデータストリームの取り込みと処理に最も広く採用されているオープンソースストリーミングプラットフォームの 1 つです。Apache Kafka を使用すると、データ生成アプリケーションとデータ消費アプリケーションを分離して個別にスケーリングできます。

Kafka Connect は、Apache Kafka を使用してストリーミングアプリケーションを構築および実行する上で重要なコンポーネントです。Kafka Connect は、Kafka と外部システム間でデータを移動する標準化された方法を提供します。Kafka Connect はスケーラビリティが高く、大量のデータを処理できます。Kafka Connect は、Kafka トピックと外部システム間でデータを移動するコネクタを設定、デプロイ、モニタリングするための強力なAPIオペレーションとツールのセットを提供します。これらのツールを使用して、ストリーミングアプリケーションの特定のニーズを満たすように Kafka Connect の機能をカスタマイズおよび拡張できます。

Apache Kafka Connect クラスターを単独で運用している場合や、オープンソースの Apache Kafka Connect アプリケーションを AWSに移行しようとしている場合に、課題に遭遇する可能性があります。これらの課題には、インフラストラクチャのセットアップとアプリケーションのデプロイに必要な時間、セルフマネージド型の Apache Kafka Connect クラスターを設定する際のエンジニアリング上の障害、管理運用上のオーバーヘッドが含まれます。

これらの課題に対処するには、Amazon Managed Streaming for Apache Kafka Connect (Amazon MSK Connect) を使用して、オープンソースの Apache Kafka Connect アプリケーションを に移行することをお勧めします AWS。Amazon MSK Connect は、Kafka Connect を使用して、Apache Kafka クラスターとデータベース、検索インデックス、ファイルシステムなどの外部システムとの間でデータをストリーミングすることを簡素化します。