本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
歡迎使用《Amazon MSK 開發人員指南》
歡迎使用《Amazon MSK 開發人員指南》。下列主題可根據您要執行的工作,協助您開始使用本指南。
-
遵循開始使用 Amazon MSK教學課程建立 MSK 佈建叢集。
-
深入了解 中佈建的 MSK 功能MSK 佈建。
-
使用 什麼是 MSK Serverless? 可執行 Apache Kafka,無須管理和擴展叢集容量。
-
使用 了解 MSK Connect 可將資料串流到或串流出 Apache Kafka 叢集。
使用 什麼是 Amazon MSK Replicator? 可靠地複寫不同或相同 (MSK) AWS 區域中 MSK 佈建叢集的資料。
如需重點資訊、產品詳細資訊和定價資訊,請參閱 Amazon MSK
什麼是 Amazon MSK?
Amazon Managed Streaming for Apache Kafka (Amazon MSK) 是一項全受管服務,可讓您建置和執行使用 Apache Kafka 處理串流資料的應用程式。Amazon MSK 提供控制平面操作,例如用於建立、更新和刪除叢集的操作。它可以讓你使用 Apache Kafka 資料平面操作,如那些用於生產和使用數據。其執行 Apache Kafka 的開源版本。這表示支援現有的應用程式,工具以及合作夥伴和 Apache Kafka 社群的外掛程式,而無須變更應用程式代碼。您可使用 Amazon MSK 建立使用 支援的 Apache Kafka 版本 章節所列任一 Apache Kafka 版本的叢集。
這些元件說明 Amazon MSK 的架構:
-
代理程式節點 – 建立 Amazon MSK 叢集時,您可指定想要 Amazon MSK 在每個可用區域中建立的代理程式節點數量。每個可用區域最少一個代理程式。每個可用區域都有自己的虛擬私有雲端 (VPC) 子網路。Amazon MSK Provisioned 提供兩種代理程式類型 -Amazon MSK Standard 代理程式 和 Amazon MSK Express 代理程式。在 MSK Serverless 中,MSK 會管理用於處理流量的代理程式節點,而且您只能在叢集層級佈建 Kafka 伺服器資源。
ZooKeeper 節點 – Amazon Msk 也為您建立了 Apache ZooKeeper 節點。Apache ZooKeeper 是一個開源伺服器,可啟用高度可靠的分散式協調。
KRaft 控制器 - Apache Kafka 社群開發 KRaft 來取代 Apache ZooKeeper,以在 Apache Kafka 叢集中管理中繼資料。在 KRaft 模式中,叢集中繼資料會在 Kafka 控制器群組內傳播,而這是 Kafka 叢集的一部分,而不是跨 ZooKeeper 節點。包含 KRaft 控制器,您無需支付額外費用,也不需要您進行額外的設定或管理。
注意
從 MSK 上的 Apache Kafka 3.7.x 版,您可以建立使用 KRaft 模式而非 ZooKeeper 模式的叢集。
生產者,取用者和主題建立者 – Amazon Msk 可讓您使用 Apache Kafka 資料平面操作來建立主題,以及生產和取用資料。
叢集操作 您可以使用 SDK AWS Command Line Interface 中的 AWS Management Console、 (AWS CLI) 或 APIs 來執行控制平面操作。例如,您可以建立或刪除 Amazon MSK 叢集、列出帳戶中的所有叢集、檢視叢集的屬性,以及更新叢集中代理程式的數量和類型。
Amazon MSK 會偵測叢集最常見的故障案例並自動復原,以便您的生產者和取用者應用程式能夠在影響最小的情況下繼續寫入和讀取操作。當 Amazon MSK 偵測到代理程式故障時,其會緩解故障,或是使用新的代理程式來取代運作狀態不良或是無法連線的代理程式。除此之外,在可能的情況下,它重用從舊的代理程式的儲存體,以減少 Apache Kafka 需要複製的資料。您受到可用性影響時間將會僅限於 Amazon MSK 完成偵測與復原所需的時間。復原之後,您的生產者和取用者應用程式可以繼續與失敗前所使用的相同代理 IP 地址進行通訊。