Amazon Data Firehose のクォータ - Amazon Data Firehose

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Data Firehose のクォータ

このセクションでは、Amazon Data Firehose 内の現在のクォータ (以前は制限と呼ばれていました) について説明します。各クォータは、指定がない限り、リージョン単位で適用されます。

Service Quotas コンソールは、 AWS サービスのクォータを表示および管理し、使用する多くのリソースのクォータ引き上げをリクエストできる中心的な場所です。提供されているクォータ情報を使用して AWS インフラストラクチャを管理します。クォータの引き上げに対するリクエストは、クォータの引き上げが必要となる前に計画してください。

詳細については、「 Amazon Web Services 全般のリファレンス」の「Amazon Data Firehose エンドポイントとクォータ」を参照してください。

次のセクションは、Amazon Data Firehose に次のクォータがあることを示しています。

  • Amazon MSK を Firehose ストリームのソースとして使用する場合、各 Firehose ストリームのデフォルトのクォータは、パーティションあたり 10 MB/秒の読み取りスループットと 10MB の最大レコードサイズです。サービスクォータの引き上げを使用して、パーティションあたりの読み取りスループットのデフォルトクォータである 10 MB/秒の引き上げをリクエストできます。

  • Amazon MSK を Firehose ストリームのソースとして使用すると、 AWS Lambda が有効になっている場合は最大レコードサイズが 6 MB、Lambda が無効になっている場合は最大レコードサイズが 10 MB になります。 AWS Lambda は受信レコードを 6 MB に制限し、Amazon Data Firehose は 6Mb を超えるレコードをエラー S3 バケットに転送します。Lambda が無効になっている場合、Firehose の着信レコードの制限は 10 MB です。Amazon Data Firehose が Amazon MSK から 10 MB を超えるレコードサイズを受け取ると、Amazon Data Firehose はこのレコードを S3 エラーバケットに配信し、Cloudwatch メトリクスをアカウントに出力します。 AWS Lambda の制限の詳細については、latest/dg/gettingstartedhttps://docs.aws.amazon.com/lambda/-limits.html」を参照してください。

  • Firehose ストリームで動的パーティショニングが有効になっている場合、その Firehose ストリームのために作成できるアクティブパーティションのデフォルトクォータは 500 です。アクティブパーティション数は、配信バッファ内のアクティブパーティションの総数です。例えば、動的パーティショニングクエリが 1 秒あたり 3 つのパーティションを構築し、60 秒ごとに配信をトリガーするバッファのヒント設定がある場合、平均して 180 のアクティブパーティションが作成されます。データがパーティションに配信されると、そのパーティションはそれ以降はアクティブではなくなります。Amazon Data Firehose の制限フォームを使用して、このクォータを、指定された Firehose ストリームごとに最大 5,000 のアクティブパーティションに増やすようリクエストすることができます。さらにパーティションが必要な場合は、Firehose ストリームをさらに作成することでアクティブパーティションをそれらに分散させることができます。

  • Firehose ストリームで動的パーティショニングが有効になっている場合、アクティブパーティションごとに 1 GB/秒の最大スループットがサポートされます。

  • 各アカウントで維持できる、リージョンごとの Firehose ストリーム数のクォータは次のとおりです。

    • 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、欧州 (アイルランド)、アジアパシフィック (東京): 5,000 Firehose ストリーム

    • 欧州 (フランクフルト）、欧州 (ロンドン）、アジアパシフィック (シンガポール）、アジアパシフィック (シドニー）、アジアパシフィック (ソウル）、アジアパシフィック (ムンバイ）、 AWS GovCloud （米国西部）、カナダ (西部）、カナダ (中部): 2,000 Firehose ストリーム

    • 欧州 (パリ）、欧州 (ミラノ）、欧州 (ストックホルム）、アジアパシフィック (香港）、アジアパシフィック (大阪）、南米 (サンパウロ）、中国 (寧夏）、中国 (北京）、中東 (バーレーン）、 AWS GovCloud (米国東部）、アフリカ (ケープタウン): 500 Firehose ストリーム

    • 欧州 (チューリッヒ）、欧州 (スペイン）、アジアパシフィック (ハイデラバード）、アジアパシフィック (ジャカルタ）、アジアパシフィック (メルボルン）、中東 (UAE）、イスラエル (テルアビブ）、カナダ西部 (カルガリー）、カナダ (中部）、アジアパシフィック (マレーシア): 100 Firehose ストリーム

    • この数を超えると、CreateDeliveryStream を呼び出すとLimitExceededException例外が発生します。このクォータを引き上げるには、リージョンで利用可能であればService Quotas を使用します。Service Quotas の使用の詳細については、「クォータ引き上げのリクエスト」を参照してください。ご利用のリージョンで Service Quotas を使用できない場合は、Amazon Data Firehose の制限のフォームを使用してクォータの引き上げをリクエストすることができます。

  • Direct PUT がデータソースとして設定されている場合、各 Firehose ストリームは PutRecord リクエストと PutRecordBatch リクエストに次のクォータを組み合わせたものを提供します。

    • 米国東部 (バージニア北部）、米国西部 (オレゴン）、欧州 (アイルランド) の場合: 500,000 records/second, 2,000 requests/second, and 5 MiB/second。

    • 米国東部 (オハイオ）、米国西部 (北カリフォルニア）、 AWS GovCloud （米国東部）、 AWS GovCloud （米国西部）、アジアパシフィック (香港）、アジアパシフィック (ムンバイ）、アジアパシフィック (ソウル）、アジアパシフィック (シンガポール）、中国 (北京）、中国 (寧夏）、アジアパシフィック (シドニー）、アジアパシフィック (東京）、カナダ (中部）、カナダ西部 (カルガリー）、欧州 (フランクフルト）、欧州 (ロンドン）、欧州 (パリ）、欧州 (ストックホルム）、中東 (バーレーン）、南米 (サンパウロ）、アフリカ (ケープタウン）、アジアパシフィック (マレーシア）、欧州 (ミラノ): 100,000 records/second, 1,000 requests/second, and 1 MiB/second。

    Firehose ストリームのスループットキャパシティを超えるデータ取り込みボリュームが多いために Direct PUT ストリームでスロットリングが発生した場合、Amazon Data Firehose はスロットリングが含まれるまでストリームのスループット制限を自動的に引き上げます。スループットとスロットリングの増加によっては、Firehose がストリームのスループットを目的のレベルに引き上げるまでに時間がかかる場合があります。このため、失敗したデータインジェストレコードを再試行し続けます。突然の大規模なバーストでデータボリュームが増加することが予想される場合、または新しいストリームでデフォルトのスループット制限よりも高いスループットが必要な場合は、スループット制限の引き上げをリクエストしてください。

    クォータの引き上げをリクエストするには、Amazon Data Firehose Limits フォームを使用します。3 つのクォータは比例してスケールされます。例えば、米国東部 (バージニア北部）、米国西部 (オレゴン）、または欧州 (アイルランド) のスループットクォータを 10 MiB/second, the other two quota increase to 4,000 requests/second and 1,000,000 records/secondに増やした場合です。

    注記

    サービスの使用を制御する方法として、リソースレベルの制限とクォータを使用しないでください。

    重要

    引き上げたクォータが実行中のトラフィックよりもはるかに高い場合、送信先への配信バッチは小さくなります。そのため、非効率になり、結果として配信サービスのコストが高くなる場合があります。現在の実行中のトラフィックと一致するようにクォータを引き上げてください。トラフィックが増加した場合は、さらにクォータを引き上げてください。

    重要

    データレコードが小さくなると、コストが高くなる可能性があることに注意してください。Firehose の取り込み料金は、サービスに送信するデータレコードの数、すなわち各レコードのサイズが最も近い 5 KB（5,120 バイト）に切り上げられた回数に基づきます。したがって、同じ量の受信データ (バイト) では、受信レコードの数が多い場合、発生するコストが高くなります。たとえば、受信データ量の合計が 5MiB の場合、5,000 レコードを超えるデータの送信は、1,000 レコードを使用して同じ量のデータを送信する場合と比べて、コストが高くなります。詳細については、AWS 見積りツールの「Amazon Data Firehose」を参照してください。

    注記

    データソースとして Kinesis Data Streams が設定されている場合、このクォータは適用されず、Amazon Data Firehose のスケールアップとスケールダウンは制限なしで行われます。

  • 各 Firehose ストリームは、配信先が利用できない場合やソースが DirectPut である場合に、最大 24 時間データレコードを保存します。ソースが Kinesis Data Streams (KDS) で、送信先が使用できない場合、データは KDS 設定に基づいて保持されます。

  • base64-encoding の前に Amazon Data Firehose に送信されるレコードの最大サイズは、1,000 KiB です。

  • PutRecordBatch オペレーションは、呼び出しごとに最大 500 レコード、または呼び出しごとに 4 MiB のいずれか小さい方を取ります。このクォータは変更できません。

  • 次の各オペレーションでは、1 秒あたり最大 5 回の呼び出しを提供できます。これはハード制限です。

  • バッファの間隔のヒントの範囲は、60～900 秒です。

  • Amazon Data Firehose から Amazon Redshift への配信では、パブリックアクセス可能な Amazon Redshift クラスターのみがサポートされます。

  • Amazon Redshift および OpenSearch Service 配信の再試行期間の範囲は 0 秒から 7,200 秒です。

  • Firehose は、Elasticsearch バージョン 1.5、2.3、5.1、5.3、5.5、5.6 と、すべての 6.*、7.*、8.* バージョンをサポートします。Firehose は、Amazon OpenSearch Service 2.x から 2.11 までをサポートしています。

  • 送信先が Amazon S3、Amazon Redshift、または OpenSearch Service の場合、Amazon Data Firehose はシャードごとに最大 5 つの未処理の Lambda 呼び出しを許可します。Splunk の場合、このクォータはシャードあたり 10 回の未完了の Lambda 呼び出しとなります。

  • タイプの CMK を使用して、最大 CUSTOMER_MANAGED_CMK 500 個の Firehose ストリームを暗号化できます。