Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Comprendi MSK Connect
MSKConnect è una funzionalità di Amazon MSK che semplifica lo streaming di dati da e verso i cluster Apache Kafka. MSK Connect utilizza le versioni 2.7.1 o 3.7.x di Kafka Connect, che sono framework open source per connettere i cluster Apache Kafka con sistemi esterni come database, indici di ricerca e file system. Con MSK Connect, puoi implementare connettori completamente gestiti creati per Kafka Connect che trasferiscono o estraggono dati da archivi di dati popolari come Amazon S3 e Amazon Service. OpenSearch È possibile implementare connettori sviluppati da terze parti come Debezium per eseguire lo streaming dei log delle modifiche dai database a un cluster Apache Kafka, oppure implementare un connettore esistente senza modifiche al codice. I connettori si dimensionano automaticamente in base alle variazioni di carico e ti verranno addebitate soltanto le risorse che effettivamente utilizzi.
Utilizza i connettori di origine per importare dati da sistemi esterni nei tuoi argomenti. Con i connettori sink, è possibile esportare i dati dai propri argomenti a sistemi esterni.
MSKConnect supporta i connettori per qualsiasi cluster Apache Kafka con connettività ad AmazonVPC, che si tratti di un MSK cluster o di un cluster Apache Kafka ospitato in modo indipendente.
MSKConnect monitora continuamente lo stato e lo stato di consegna dei connettori, corregge e gestisce l'hardware sottostante e ridimensiona automaticamente i connettori in base alle variazioni della velocità di trasmissione.
Per iniziare a usare MSK Connect, vediGuida introduttiva a MSK Connect.
Per ulteriori informazioni sulle AWS risorse che puoi creare con MSK Connect, vedi Comprendi i connettoriCrea plugin personalizzati, eScopri i lavoratori di MSK Connect.
Per informazioni su MSK ConnectAPI, consulta Amazon MSK Connect API Reference.
Vantaggi dell'utilizzo di Amazon MSK Connect
Apache Kafka è una delle piattaforme di streaming open source più utilizzate per l'acquisizione e l'elaborazione di flussi di dati in tempo reale. Con Apache Kafka, puoi disaccoppiare e scalare in modo indipendente le tue applicazioni che producono e consumano dati.
Kafka Connect è un componente importante della creazione e dell'esecuzione di applicazioni di streaming con Apache Kafka. Kafka Connect offre un modo standardizzato per spostare i dati tra Kafka e sistemi esterni. Kafka Connect è altamente scalabile e può gestire grandi volumi di dati Kafka Connect offre un potente set di API operazioni e strumenti per configurare, implementare e monitorare i connettori che spostano i dati tra argomenti Kafka e sistemi esterni. Puoi utilizzare questi strumenti per personalizzare ed estendere le funzionalità di Kafka Connect per soddisfare le esigenze specifiche della tua applicazione di streaming.
Potresti incontrare difficoltà quando gestisci i cluster Apache Kafka Connect da soli o quando cerchi di migrare applicazioni open source Apache Kafka Connect verso. AWS Queste sfide includono il tempo necessario per configurare l'infrastruttura e implementare le applicazioni, gli ostacoli tecnici alla configurazione dei cluster Apache Kafka Connect autogestiti e il sovraccarico operativo amministrativo.
Per affrontare queste sfide, ti consigliamo di utilizzare Amazon Managed Streaming for Apache Kafka Connect MSK (Amazon Connect) per migrare le tue applicazioni open source Apache Kafka Connect verso. AWS Amazon MSK Connect semplifica l'utilizzo di Kafka Connect per lo streaming di dati da e verso cluster Apache Kafka e sistemi esterni, come database, indici di ricerca e file system.
Ecco alcuni dei vantaggi della migrazione ad Amazon MSK Connect:
Eliminazione del sovraccarico operativo: Amazon MSK Connect elimina il carico operativo associato all'applicazione di patch, al provisioning e al ridimensionamento dei cluster Apache Kafka Connect. Amazon MSK Connect monitora continuamente lo stato dei cluster Connect e automatizza l'applicazione di patch e aggiornamenti di versione senza causare interruzioni ai carichi di lavoro.
Riavvio automatico delle attività di Connect: Amazon MSK Connect può ripristinare automaticamente le attività non riuscite per ridurre le interruzioni della produzione. Gli errori nelle attività possono essere causati da errori temporanei, come il superamento del limite di TCP connessione per Kafka e il ribilanciamento delle attività quando nuovi lavoratori si uniscono al gruppo di consumatori per i connettori sink.
Scalabilità orizzontale e verticale automatica: Amazon MSK Connect consente all'applicazione del connettore di scalare automaticamente per supportare throughput più elevati. Amazon MSK Connect gestisce la scalabilità per te. È sufficiente specificare il numero di lavoratori nel gruppo di auto scaling e le soglie di utilizzo. Puoi utilizzare l'
UpdateConnectorAPIoperazione Amazon MSK Connect per scalare verticalmente verso l'alto o verso il basso vCPUs tra 1 e 8 vCPUs per supportare un throughput variabile.Connettività di rete privata: Amazon MSK Connect si connette privatamente ai sistemi di origine AWS PrivateLink e sink utilizzando DNS nomi privati.
