Quota Amazon Data Firehose - Amazon Data Firehose

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Quota Amazon Data Firehose

Cette section décrit les quotas actuels, anciennement appelés limites, au sein d'Amazon Data Firehose. Chaque quota s'applique par région, sauf indication contraire.

La console Service Quotas est un emplacement central où vous pouvez consulter et gérer vos quotas de AWS services, et demander une augmentation des quotas pour la plupart des ressources que vous utilisez. Utilisez les informations de quota que nous fournissons pour gérer votre AWS infrastructure. Prévoyez de demander les augmentations de quota avant le moment où vous en aurez besoin.

Pour plus d'informations, consultez la section Points de terminaison et quotas Amazon Data Firehose dans le. Référence générale d'Amazon Web Services

La section suivante montre qu'Amazon Data Firehose possède le quota suivant.

  • Amazon MSK étant la source du flux Firehose, chaque flux Firehose possède un quota par défaut de 10 Mo/sec de débit de lecture par partition et une taille d'enregistrement maximale de 10 Mo. Vous pouvez utiliser l'augmentation du quota de service pour demander une augmentation du quota par défaut de 10 Mo/sec de débit de lecture par partition.

  • Amazon MSK étant la source du flux Firehose, la taille d'enregistrement maximale est de 6 Mo si AWS Lambda est activée, et de 10 Mo si Lambda est désactivé. AWS Lambda limite son enregistrement entrant à 6 Mo, et Amazon Data Firehose transmet les enregistrements supérieurs à 6 Mo vers un compartiment S3 d'erreur. Si Lambda est désactivé, Firehose limite son enregistrement entrant à 10 Mo. Si Amazon Data Firehose reçoit d'Amazon MSK un enregistrement d'une taille supérieure à 10 Mo, Amazon Data Firehose envoie cet enregistrement au compartiment d'erreur S3 et envoie les métriques Cloudwatch à votre compte. Pour plus d'informations sur les limites AWS Lambda, consultez : https://docs.aws.amazon.com/lambda/ latest/dg/gettingstarted -limits.html.

  • Lorsque le partitionnement dynamique d'un flux Firehose est activé, un quota par défaut de 500 partitions actives peut être créé pour ce flux Firehose. Le nombre de partitions actives est le nombre total de partitions actives dans le tampon de diffusion. Par exemple, si la requête de partitionnement dynamique crée trois partitions par seconde et que vous avez une configuration d'indice de mémoire tampon qui déclenche la livraison toutes les 60 secondes, vous aurez en moyenne 180 partitions actives. Une fois que les données sont livrées dans une partition, celle-ci n'est plus active. Vous pouvez utiliser le formulaire Amazon Data Firehose Limits pour demander une augmentation de ce quota jusqu'à 5 000 partitions actives par flux Firehose donné. Si vous avez besoin de plus de partitions, vous pouvez créer davantage de flux Firehose et répartir les partitions actives entre eux.

  • Lorsque le partitionnement dynamique sur un flux Firehose est activé, un débit maximum de 1 Go par seconde est pris en charge pour chaque partition active.

  • Chaque compte aura le quota suivant pour le nombre de streams Firehose par région :

    • USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), Europe (Irlande), Asie-Pacifique (Tokyo) : 5 000 streams Firehose

    • Europe (Francfort), Europe (Londres), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Séoul), Asie-Pacifique (Mumbai), (États-Unis ouest), Canada (ouest) AWS GovCloud , Canada (ouest), Canada (centre) : 2 000 flux Firehose

    • Europe (Paris), Europe (Milan), Europe (Stockholm), Asie-Pacifique (Hong Kong), Asie-Pacifique (Osaka), Amérique du Sud (Sao Paulo), Chine (Ningxia), Chine (Pékin), Moyen-Orient (Bahreïn), (USA Est), Afrique AWS GovCloud (Le Cap) : 500 Firehose streams

    • Europe (Zurich), Europe (Espagne), Asie-Pacifique (Hyderabad), Asie-Pacifique (Jakarta), Asie-Pacifique (Melbourne), Moyen-Orient (), Israël UAE (Tel Aviv), Canada Ouest (Calgary), Canada (Centre), Asie-Pacifique (Malaisie) : 100 flux Firehose

    • Si vous dépassez ce nombre, un appel à CreateDeliveryStreamentraîne une LimitExceededException exception. Pour augmenter ce quota, utilisez les Service Quotas, s'ils sont disponibles dans votre région. Pour plus d'informations sur Service Quotas, consultez Requesting a Quota Increase. Si les quotas de Service ne sont pas disponibles dans votre région, vous pouvez utiliser le formulaire Amazon Data Firehose Limits pour demander une augmentation.

  • Lorsque Direct PUT est configuré comme source de données, chaque flux Firehose fournit le quota PutRecordet PutRecordBatchles demandes combinés suivants :

    • Pour l'est des États-Unis (Virginie du Nord), l'ouest des États-Unis (Oregon) et l'Europe (Irlande) : records/second, 2,000 requests/second, and 5 MiB/second 500 000.

    • Pour l'est des États-Unis (Ohio), l'ouest des États-Unis AWS GovCloud (Californie du Nord), AWS GovCloud (États-Unis est), l'Asie-Pacifique (Hong Kong), l'Asie-Pacifique (Mumbai), l'Asie-Pacifique (Séoul), l'Asie-Pacifique (Singapour), la Chine (Pékin), la Chine (Ningxia), l'Asie-Pacifique (Sydney), l'Asie-Pacifique (Tokyo), le Canada (centre), le Canada ouest (Calgary), l'Europe (), Europe (Londres), Europe (Paris), Europe (Stockholm), Moyen-Orient (Bahreïn), Amérique du Sud (São Paulo), Afrique (Le Cap), Asie-Pacifique (Malaisie) et Europe (Milan) : 100 000. records/second, 1,000 requests/second, and 1 MiB/second

    Si un PUT flux direct est limité en raison de volumes d'ingestion de données supérieurs à la capacité de débit d'un flux Firehose, Amazon Data Firehose augmente automatiquement la limite de débit du flux jusqu'à ce que la limitation soit maîtrisée. En fonction de l'augmentation du débit et de la régulation, Firehose peut mettre plus de temps à augmenter le débit d'un flux aux niveaux souhaités. Pour cette raison, continuez à réessayer les enregistrements d'ingestion de données ayant échoué. Si vous vous attendez à ce que le volume de données augmente lors de fortes rafales soudaines, ou si votre nouveau flux nécessite un débit supérieur à la limite de débit par défaut, demandez l'augmentation de la limite de débit.

    Pour demander une augmentation du quota, utilisez le formulaire Amazon Data Firehose Limits. Les trois quotas évoluent proportionnellement. Par exemple, si vous augmentez le quota de débit dans l'est des États-Unis (Virginie du Nord), dans l'ouest des États-Unis (Oregon) ou en Europe (Irlande) à 10. MiB/second, the other two quota increase to 4,000 requests/second and 1,000,000 records/second

    Note

    N'utilisez pas les limites de niveau de ressources et les quotas pour contrôler votre utilisation du service.

    Important

    Si le quota augmenté est bien supérieur au trafic en cours d'exécution, cela entraîne la diffusion de petits lots aux destinations. Ce processus est inefficace et peut s'avérer coûteux pour les services de destination. Assurez-vous d'augmenter le quota appliqué de manière à le faire correspondre au trafic en cours d'exécution et de l'augmenter en fonction du trafic.

    Important

    Notez que des enregistrements de données plus petits peuvent entraîner des coûts plus élevés. Le prix d'ingestion de Firehose est basé sur le nombre d'enregistrements de données que vous envoyez au service, multiplié par la taille de chaque enregistrement arrondie aux 5 Ko (5 120 octets) les plus proches. Ainsi, pour un même volume de données entrantes (octets), s'il y a un plus grand nombre d'enregistrements entrants, le coût engendré sera plus élevé. Par exemple, si le volume total de données entrantes est de 5 Mio, l'envoi de 5 Mio de données sur 5 000 enregistrements coûte plus cher que l'envoi de la même quantité de données en utilisant 1 000 enregistrements. Pour plus d'informations, consultez Amazon Data Firehose dans le AWS calculateur.

    Note

    Lorsque Kinesis Data Streams est configuré comme source de données, ce quota ne s'applique pas et Amazon Data Firehose augmente ou diminue sans limite.

  • Chaque stream Firehose stocke des enregistrements de données pendant 24 heures au maximum au cas où la destination de livraison ne serait pas disponible et si la source l'était. DirectPut Si la source est Kinesis Data Streams KDS () et que la destination n'est pas disponible, les données seront conservées en fonction de KDS votre configuration.

  • La taille maximale d'un enregistrement envoyé à Amazon Data Firehose, avant le codage base64, est de 1 000 KiB.

  • L'PutRecordBatchopération peut prendre jusqu'à 500 enregistrements par appel ou 4 MiB par appel, la valeur la plus petite étant retenue. Ce quota ne peut pas être modifié.

  • Chacune des opérations suivantes peut fournir jusqu'à cinq appels par seconde, ce qui constitue une limite stricte.

  • Les intervalles de temps tampon vont de 60 à 900 secondes.

  • Pour la livraison depuis Amazon Data Firehose vers Amazon Redshift, seuls les clusters Amazon Redshift accessibles au public sont pris en charge.

  • La durée des nouvelles tentatives est comprise entre 0 seconde et 7 200 secondes pour Amazon Redshift OpenSearch et Service Delivery.

  • Firehose prend en charge les versions d'Elasticsearch : 1.5, 2.3, 5.1, 5.3, 5.5, 5.6, ainsi que toutes les versions 6.*, 7.* et 8.*. Firehose prend en charge Amazon OpenSearch Service 2.x jusqu'à 2.11.

  • Lorsque la destination est Amazon S3, Amazon Redshift ou OpenSearch Service, Amazon Data Firehose autorise jusqu'à 5 appels Lambda en attente par partition. Pour Splunk, le quota est de 10 invocations Lambda exceptionnelles par partition.

  • Vous pouvez utiliser un type CMK de CUSTOMER_MANAGED_CMK pour chiffrer jusqu'à 500 flux Firehose.