Willkommen im Amazon MSK Developer Guide - Amazon Managed Streaming für Apache Kafka

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Willkommen im Amazon MSK Developer Guide

Willkommen im Amazon MSK Developer Guide. Die folgenden Themen erleichtern Ihnen den Einstieg in dieses Handbuch anhand dessen, was Sie erreichen möchten.

Höhepunkte, Produktdetails und Preise finden Sie auf der Serviceseite von Amazon MSK.

Was ist Amazon MSK?

Amazon Managed Streaming for Apache Kafka (AmazonMSK) ist ein vollständig verwalteter Service, mit dem Sie Anwendungen erstellen und ausführen können, die Apache Kafka zur Verarbeitung von Streaming-Daten verwenden. Amazon MSK stellt die Operationen auf der Kontrollebene bereit, z. B. zum Erstellen, Aktualisieren und Löschen von Clustern. Damit können Sie Apache Kafka-Operationen auf Datenebene verwenden, z. B. zum Erstellen und Nutzen von Daten. Es werden Open-Source-Versionen von Apache Kafka ausgeführt. Das bedeutet, dass vorhandene Anwendungen, Tools und Plugins von Partnern und der Apache Kafka-Community unterstützt werden, ohne dass Änderungen am Anwendungscode erforderlich sind. Sie können Amazon verwendenMSK, um Cluster zu erstellen, die eine der unter Unterstützte Apache Kafka-Versionen aufgeführten Apache Kafka-Versionen verwenden.

Diese Komponenten beschreiben die Architektur von AmazonMSK:

  • Broker-Knoten — Wenn Sie einen MSK Amazon-Cluster erstellen, geben Sie an, wie viele Broker-Knoten Amazon MSK in jeder Availability Zone erstellen soll. Das Minimum ist ein Broker pro Availability Zone. Jede Availability Zone hat ihr eigenes Virtual Private Cloud (VPC) -Subnetz. Amazon MSK Provisioned bietet zwei Brokertypen an — Amazon MSK Standard-Makler undAmazon MSK Express-Broker. MSKVerwaltet in MSKServerless die Broker-Knoten, die zur Verarbeitung Ihres Datenverkehrs verwendet werden, und Sie stellen Ihre Kafka-Serverressourcen nur auf Clusterebene bereit.

  • ZooKeeper Knoten — Amazon erstellt MSK auch die ZooKeeper Apache-Knoten für Sie. Apache ZooKeeper ist ein Open-Source-Server, der eine äußerst zuverlässige verteilte Koordination ermöglicht.

  • KRaftController — Die Apache Kafka-Community wurde entwickeltKRaft, um Apache ZooKeeper für die Metadatenverwaltung in Apache Kafka-Clustern zu ersetzen. Im KRaft Modus werden Cluster-Metadaten innerhalb einer Gruppe von Kafka-Controllern, die Teil des Kafka-Clusters sind, und nicht knotenübergreifend weitergegeben. ZooKeeper KRaftController sind ohne zusätzliche Kosten für Sie enthalten und erfordern keine zusätzliche Einrichtung oder Verwaltung durch Sie.

    Anmerkung

    Ab Apache Kafka Version 3.7.x können Sie Cluster erstellenMSK, die KRaft Modus statt Modus verwenden. ZooKeeper

  • Produzenten, Konsumenten und Themenersteller — MSK Mit Amazon können Sie Apache Kafka-Datenebenenoperationen verwenden, um Themen zu erstellen und Daten zu produzieren und zu konsumieren.

  • Cluster-Operationen Sie können die AWS Management Console, die AWS Command Line Interface (AWS CLI) oder die APIs in verwenden, SDK um Operationen auf der Steuerungsebene auszuführen. Sie können beispielsweise einen MSK Amazon-Cluster erstellen oder löschen, alle Cluster in einem Konto auflisten, die Eigenschaften eines Clusters anzeigen und die Anzahl und den Typ der Broker in einem Cluster aktualisieren.

Amazon MSK erkennt die häufigsten Ausfallszenarien für Cluster und stellt sie automatisch wieder her, sodass Ihre Hersteller- und Verbraucheranwendungen ihre Schreib- und Lesevorgänge mit minimalen Auswirkungen fortsetzen können. Wenn Amazon einen Broker-Ausfall MSK feststellt, mildert es den Ausfall oder ersetzt den fehlerhaften oder nicht erreichbaren Broker durch einen neuen. Darüber hinaus wird, soweit möglich, der Speicher des älteren Brokers wiederverwendet, um die von Apache Kafka zu replizierende Datenmenge zu verringern. Ihre Auswirkungen auf die Verfügbarkeit beschränken sich auf die Zeit, die Amazon benötigtMSK, um die Erkennung und Wiederherstellung abzuschließen. Nach einer Wiederherstellung können Ihre Hersteller- und Verbraucheranwendungen weiterhin mit denselben Broker-IP-Adressen kommunizieren, die sie vor dem Ausfall verwendet haben.