Cota do Amazon Data Firehose - Amazon Data Firehose

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Cota do Amazon Data Firehose

Esta seção descreve as cotas atuais, antes chamadas de limites, no Amazon Data Firehose. Salvo indicação em contrário, cada cota aplica-se por região.

O console Service Quotas é um local central onde você pode visualizar e gerenciar suas cotas de AWS serviços e solicitar um aumento de cota para muitos dos recursos que você usa. Use as informações de cotas que fornecemos para gerenciar sua AWS infraestrutura. Planeje a solicitação de aumentos das cotas com antecedência antes que sejam necessários.

Para obter mais informações, consulte Endpoints e cotas do Amazon Data Firehose na Referência geral da Amazon Web Services.

A seção a seguir mostra que o Amazon Data Firehose tem a cota a seguir.

  • Com a Amazon MSK como fonte para o stream do Firehose, cada stream do Firehose tem uma cota padrão de 10 MB/seg de taxa de transferência de leitura por partição e tamanho máximo de registro de 10 MB. É possível usar o aumento de Service Quota para solicitar um aumento da cota padrão de 10 MB/s de taxa de throughput de leitura por partição.

  • Com a Amazon MSK como fonte para o stream do Firehose, há um tamanho máximo de registro de 6 MB se o AWS Lambda estiver ativado e um tamanho máximo de registro de 10 MB se o Lambda estiver desativado. AWS O Lambda limita seu registro de entrada para 6 MB, e o Amazon Data Firehose encaminha registros acima de 6 MB para um bucket S3 com erro. Se o Lambda estiver desabilitado, o Firehose limitará seu registro de entrada em 10 MB. Se o Amazon Data Firehose receber um tamanho de registro da Amazon maior MSK que 10 MB, o Amazon Data Firehose entregará esse registro ao bucket de erros do S3 e emitirá métricas do Cloudwatch para sua conta. Para obter mais informações sobre os limites do AWS Lambda, consulte: https://docs.aws.amazon.com/lambda/ latest/dg/gettingstarted -limits.html.

  • Quando o particionamento dinâmico em um fluxo do Firehose está habilitado, há uma cota padrão de 500 partições ativas que podem ser criadas para esse fluxo do Firehose. A quantidade de partições ativas é o número total de partições ativas dentro do buffer de entrega. Por exemplo, se a consulta de particionamento dinâmico monta 3 partições por segundo e você tiver uma configuração de sugestão de buffer que aciona a entrega a cada 60 segundos, então, em média, você teria 180 partições ativas. Depois que os dados são entregues em uma partição, essa partição deixa de estar ativa. É possível usar o formulário de limites do Amazon Data Firehose para solicitar um aumento dessa cota para até 5.000 partições ativas por cada fluxo do Firehose. Se você precisar de mais partições, será possível criar mais fluxos do Firehose e distribuir as partições ativas entre eles.

  • Quando o particionamento dinâmico está habilitado em um fluxo do Firehose, um throughput máximo de 1 GB por segundo é possível para cada partição ativa.

  • Cada conta terá a cota a seguir para o número de fluxos do Firehose por região:

    • Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), Europa (Irlanda), Ásia-Pacífico (Tóquio): 5.000 fluxos do Firehose

    • Europa (Frankfurt), Europa (Londres), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Seul), Ásia-Pacífico (Mumbai) AWS GovCloud , (Oeste dos EUA), Canadá (Oeste), Canadá (Central): 2.000 fluxos Firehose

    • Europa (Paris), Europa (Milão), Europa (Estocolmo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Osaka), América do Sul (São Paulo), China (Ningxia), China (Pequim), Oriente Médio (Bahrein), (Leste dos EUA), África AWS GovCloud (Cidade do Cabo): 500 fluxos Firehose

    • Europa (Zurique), Europa (Espanha), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Melbourne), Oriente Médio (), Israel (Tel Aviv)UAE, Oeste do Canadá (Calgary), Canadá (Central), Ásia-Pacífico (Malásia): 100 fluxos Firehose

    • Se você exceder esse número, uma chamada para CreateDeliveryStreamresultará em uma LimitExceededException exceção. Para aumentar essa cota, é possível usar o Service Quotas, caso esteja disponíveis na sua região. Para obter mais informações sobre o uso de Service Quotas, consulte Solicitar um aumento de cota. Se as Service Quotas não estiverem disponíveis na sua região, será possível usar o formulário de limites do Amazon Data Firehose para solicitar um aumento.

  • Quando o Direct PUT é configurado como fonte de dados, cada stream do Firehose fornece a seguinte cota e solicitações combinadas: PutRecordPutRecordBatch

    • Para o Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) e Europa (Irlanda): 500.000. records/second, 2,000 requests/second, and 5 MiB/second

    • Para Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), AWS GovCloud (Leste dos EUA), AWS GovCloud (Oeste dos EUA), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Seul), Ásia-Pacífico (Cingapura), China (Pequim), China (Ningxia), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Canadá (Central), Oeste do Canadá (Calgary), Europa (Frankfurt), Europa (Londres), Europa (Paris), Europa (Estocolmo), Oriente Médio (Bahrein), América do Sul (São Paulo), África (Cidade do Cabo), Ásia-Pacífico (Malásia) e Europa (Milão): 100.000. records/second, 1,000 requests/second, and 1 MiB/second

    Se um PUT stream direto sofrer limitação devido a maiores volumes de ingestão de dados que excedem a capacidade de transferência de um stream do Firehose, o Amazon Data Firehose aumenta automaticamente o limite de taxa de transferência do stream até que a limitação seja contida. Dependendo do aumento da taxa de transferência e da limitação, pode levar mais tempo para que o Firehose aumente a taxa de transferência de um stream até os níveis desejados. Por esse motivo, continue tentando novamente os registros de ingestão de dados com falha. Se você espera que o volume de dados aumente em grandes rajadas repentinas ou se seu novo stream precisar de uma taxa de transferência maior do que o limite de taxa de transferência padrão, solicite o aumento do limite de taxa de transferência.

    Para solicitar um aumento na cota, use o formulário de limites do Amazon Data Firehose. As três cotas são escaladas proporcionalmente. Por exemplo, se você aumentar a cota de taxa de transferência no Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) ou Europa (Irlanda) para 10. MiB/second, the other two quota increase to 4,000 requests/second and 1,000,000 records/second

    nota

    Não use limites e cotas em nível de recursos como forma de controlar o uso do serviço.

    Importante

    Se a cota aumentada for muito maior do que o tráfego em execução, isso ocasionará lotes de entrega pequenos para os destinos. Isso não é eficaz e pode ser dispendioso nos serviços de destino. Certifique-se de aumentar a cota apenas para que corresponda ao tráfego atual e aumente-a ainda mais se o tráfego aumentar.

    Importante

    Observe que registros de dados menores podem levar a custos mais altos. A definição de preços da ingestão do Firehose é baseada no número de registros de dados que você envia para o serviço, multiplicado pelo tamanho de cada registro, arredondado para os 5 KB (5.120 bytes) mais próximos. Portanto, para o mesmo volume de dados recebidos (bytes), se o número maior de registros recebidos for maior, o custo incorrido será maior. Por exemplo, se o volume total de dados recebidos for 5 MiB, enviar 5 MiB de dados em 5.000 registros custa mais do que enviar a mesma quantidade de dados usando 1.000 registros. Para obter mais informações, consulte Amazon Data Firehose na Calculadora de Preços da AWS.

    nota

    Quando o Kinesis Data Streams está configurado como a fonte de dados, essa cota não é aplicada, e o Amazon Data Firehose diminui ou aumenta a escala verticalmente sem nenhum limite.

  • Cada stream do Firehose armazena registros de dados por até 24 horas, caso o destino da entrega não esteja disponível e a origem esteja. DirectPut Se a origem for o Kinesis Data KDS Streams () e o destino não estiver disponível, os dados serão retidos com base na sua configuração. KDS

  • O tamanho máximo de um registro enviado para o Amazon Data Firehose, antes da codificação na base64, é de 1.000 KiB.

  • A PutRecordBatchoperação pode levar até 500 registros por chamada ou 4 MiB por chamada, o que for menor. Essa cota não pode ser alterada.

  • Cada uma das operações a seguir podem fornecer até cinco invocações por segundo , o que é um limite fixo.

  • As dicas de intervalo do buffer variam de 60 a 900 segundos.

  • Para a entrega do Amazon Data Firehose ao Amazon Redshift, há suporte somente para clusters do Amazon Redshift.

  • O intervalo de duração da nova tentativa é de 0 segundos a 7.200 segundos para o Amazon Redshift OpenSearch e a entrega de serviços.

  • O Firehose oferece suporte ao Elasticsearch versões 1.5, 2.3, 5.1, 5.3, 5.5, 5.6, bem como todas as versões 6.*, 7.* e 8.*. O Firehose oferece suporte ao Amazon OpenSearch Service 2.x até 2.11.

  • Quando o destino é Amazon S3, Amazon Redshift ou OpenSearch Service, o Amazon Data Firehose permite até 5 invocações Lambda pendentes por fragmento. Para o Splunk, a cota é de 10 invocações pendentes do Lambda por fragmento.

  • Você pode usar um CMK do tipo CUSTOMER_MANAGED_CMK para criptografar até 500 streams do Firehose.