Sviluppa produttori utilizzando Amazon Kinesis Producer Library () KPL - Flusso di dati Amazon Kinesis
Rivedi il ruolo del KPLScopri i vantaggi dell'utilizzo di KPLComprendi quando non usare il KPL

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Sviluppa produttori utilizzando Amazon Kinesis Producer Library () KPL

Un producer del flusso di dati Amazon Kinesis è qualsiasi applicazione che inserisce record di dati utente in un flusso di dati Kinesis (anche detto importazione dei dati). La Kinesis Producer Library (KPL) semplifica lo sviluppo di applicazioni di produzione, permettendo agli sviluppatori di ottenere un throughput di scrittura elevato su un flusso di dati Kinesis.

Puoi monitorarli KPL con Amazon CloudWatch. Per ulteriori informazioni, consulta Monitora la libreria Kinesis Producer con Amazon CloudWatch.

Argomenti
Nota

Si consiglia di eseguire l'aggiornamento alla KPL versione più recente. KPLviene aggiornato regolarmente con nuove versioni che includono le ultime patch di dipendenza e sicurezza, correzioni di bug e nuove funzionalità compatibili con le versioni precedenti. Per ulteriori informazioni, vedere /releases/. https://github.com/awslabs/ amazon-kinesis-producer

Rivedi il ruolo del KPL

KPLÈ una easy-to-use libreria altamente configurabile che ti aiuta a scrivere su un flusso di dati Kinesis. Funge da intermediario tra il codice dell'applicazione producer e le azioni Kinesis Data Streams. API KPLSvolge le seguenti attività principali:

  • Scrive su uno o più flussi di dati Kinesis con un meccanismo di tentativi automatico e configurabile

  • Raccoglie record e utilizza PutRecords per scrivere più record in più shard per richiesta

  • Unisce i record degli utenti per aumentare la dimensione del payload e migliorare il throughput

  • Si integra perfettamente con Kinesis Client Library (KCL) per disaggregare i record in batch sul consumatore

  • Invia i CloudWatch parametri di Amazon per tuo conto per fornire visibilità sulle prestazioni dei produttori

Tieni presente che KPL è diverso da Kinesis API Data Streams disponibile in. AWS SDKs Kinesis API Data Streams ti aiuta a gestire molti aspetti di Kinesis Data Streams (tra cui la creazione di stream, il resharding e l'inserimento e l'acquisizione di record)KPL, fornendo al contempo un livello di astrazione specifico per l'acquisizione dei dati. Per informazioni su Kinesis API Data Streams, consulta Amazon API Kinesis Reference.

Scopri i vantaggi dell'utilizzo di KPL

L'elenco seguente rappresenta alcuni dei principali vantaggi dell'utilizzo di produttori di Kinesis Data Streams KPL per lo sviluppo.

KPLPuò essere utilizzato in casi d'uso sincroni o asincroni. Suggeriamo di utilizzare le prestazioni più elevate dell'interfaccia asincrona, a meno che non vi sia un motivo specifico per l'utilizzo del comportamento sincrono. Per ulteriori informazioni su questi due casi d'uso e sul codice di esempio, consulta Scrivi nel tuo flusso di dati Kinesis utilizzando KPL.

Vantaggi in termini di prestazioni

KPLPossono aiutare a creare produttori ad alte prestazioni. Prendi in considerazione una situazione in cui le tue EC2 istanze Amazon fungono da proxy per raccogliere eventi da 100 byte da centinaia o migliaia di dispositivi a basso consumo e scrivere record in un flusso di dati Kinesis. Ciascuna di queste EC2 istanze deve scrivere migliaia di eventi al secondo nel tuo flusso di dati. Per ottenere il throughput necessario, i produttori devono implementare una logica complicata, ad esempio esecuzione di batch o multithreading, in aggiunta al tentativo di disaggregare la logica e i record da parte del consumer. KPLSvolge tutte queste attività per te.

Consumer-Side Ease of Use (Facilità utilizzo lato consumer)

Per gli sviluppatori consumer che utilizzano Java, KCL si KPL integra senza ulteriori sforzi. Quando KCL recupera un record Kinesis Data Streams aggregato composto da KPL più record utente, richiama automaticamente il per estrarre i record dei singoli utenti prima di restituirli KPL all'utente.

Per gli sviluppatori consumer che non utilizzano l'APIoperazione KCL ma la utilizzano GetRecords direttamente, è disponibile una libreria KPL Java per estrarre i record dei singoli utenti prima di restituirli all'utente.

Monitoraggio producer

Puoi raccogliere, monitorare e analizzare i tuoi produttori di Kinesis Data Streams utilizzando CloudWatch Amazon e il. KPL KPLEmette velocità di trasmissione, errori e altre metriche per tuo CloudWatch conto ed è configurabile per il monitoraggio a livello di stream, shard o producer.

Asynchronous Architecture (Architettura asincrona)

Poiché KPL può memorizzare nel buffer i record prima di inviarli a Kinesis Data Streams, non obbliga l'applicazione chiamante a bloccarsi e attendere la conferma dell'arrivo del record al server prima di continuare l'esecuzione. Una chiamata per inserire un record in the viene KPL sempre restituita immediatamente e non attende l'invio del record o la ricezione di una risposta dal server. Al contrario, viene creato un oggetto Future che riceve il risultato di inviare il record al flusso di dati Kinesis in un secondo momento. Si tratta dello stesso comportamento dei client asincroni in. AWS SDK

Comprendi quando non usare il KPL

KPLPossono subire un ulteriore ritardo di elaborazione fino all'RecordMaxBufferedTimeinterno della libreria (configurabile dall'utente). Valori più elevati di RecordMaxBufferedTime risultano in creazione di pacchetti più veloce e prestazioni migliori. Le applicazioni che non possono tollerare questo ritardo aggiuntivo potrebbero dover utilizzare direttamente il. AWS SDK Per ulteriori informazioni sull'utilizzo di AWS SDK con Kinesis Data Sviluppa i produttori utilizzando Amazon Kinesis API Data Streams con AWS SDK for Java Streams, vedere. Per ulteriori informazioni RecordMaxBufferedTime e altre proprietà configurabili dall'utente di, consulta. KPL Configurazione della libreria Kinesis Producer