欢迎阅读《Amazon MSK 开发者指南》 - Amazon Managed Streaming for Apache Kafka

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

欢迎阅读《Amazon MSK 开发者指南》

欢迎阅读亚马逊MSK开发者指南。以下主题可帮助您根据自己的需求开始使用本指南。

有关亮点、产品详情和定价,请参阅 Amazon 服务页面MSK。

什么是 Amazon MSK?

适用于 Apache Kafka 的MSK亚马逊托管流媒体 Kafka(亚马逊)是一项完全托管的服务,使您能够构建和运行使用 Apache Kafka 处理流数据的应用程序。Amazon MSK 提供控制平面操作,例如创建、更新和删除集群的操作。它允许您使用 Apache Kafka 数据层面操作,例如,用于生成和使用数据的操作。它运行 Apache Kafka 的开源版本。这意味着支持来自合作伙伴和 Apache Kafka 社区的现有应用程序、工具和插件,而无需更改应用程序代码。您可以使用亚马逊MSK创建使用下面列出的任何 Apache Kafka 版本的集群。支持的 Apache Kafka 版本

以下组件描述了 Amazon 的架构MSK:

  • 代理节点 — 创建 Amazon MSK 集群时,您可以指定您希望 Amazon MSK 在每个可用区中创建多少代理节点。每个可用区至少有一个代理。每个可用区都有自己的虚拟私有云 (VPC) 子网。Amazon MSK Provisioned 提供两种经纪商类型—— 亚马逊MSK标准经纪商 和。亚马逊MSK快递经纪商MSKServerless 中,MSK管理用于处理流量的代理节点,并且您只能在集群级别配置 Kafka 服务器资源。

  • ZooKeeper 节点 — Amazon MSK 还会为您创建 Apache ZooKeeper 节点。Apache ZooKeeper 是一款开源服务器,可实现高度可靠的分布式协调。

  • KRaft控制器 — 开发的 Apache Kafka 社区KRaft旨在取代 Apache 在 Apache Kafka 集群中 ZooKeeper 进行元数据管理。在KRaft模式下,集群元数据在一组 Kafka 控制器中传播,这些控制器是 Kafka 集群的一部分,而不是跨节点传播。 ZooKeeper KRaft控制器包含在内,您无需支付任何额外费用,也不需要您进行额外的设置或管理。

    注意

    从 Apache Kafka 3.7.x 版本开始MSK,你可以创建使用KRaft模式而不是模式的集群。 ZooKeeper

  • 制作者、消费者和主题创建者 — Amazon MSK 允许您使用 Apache Kafka 数据平面操作来创建主题以及生成和使用数据。

  • 集群操作您可以使用APIs中的 AWS Management Console、 AWS Command Line Interface (AWS CLI) 或SDK来执行控制平面操作。例如,您可以创建或删除 Amazon MSK 集群、列出账户中的所有集群、查看集群的属性以及更新集群中代理的数量和类型。

Amazon 会MSK检测集群最常见的故障场景并自动从中恢复,这样您的创建器和使用器应用程序就可以继续执行写入和读取操作,而影响最小。当 Amazon MSK 检测到代理故障时,它会缓解故障或用新的代理替换运行状况不佳或无法访问的代理。此外,如果可能,它会重用旧代理的存储来减少 Apache Kafka 需要复制的数据。您的可用性影响仅限于 Amazon MSK 完成检测和恢复所需的时间。恢复后,生成器和使用器应用程序可以继续与发生故障前使用的相同代理 IP 地址进行通信。