Configuration des paramètres de destination - Amazon Data Firehose

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration des paramètres de destination

Cette section décrit les paramètres que vous devez configurer pour votre stream Firehose en fonction de la destination que vous sélectionnez.

Configurer les paramètres de destination pour Amazon S3

Vous devez spécifier les paramètres suivants afin d'utiliser Amazon S3 comme destination pour votre flux Firehose.

  • Saisissez des valeurs pour les champs suivants.

    Compartiment S3

    Parmi les compartiments S3 que vous possédez, choisissez celui dans lequel les données de streaming doivent être livrées. Vous pouvez créer un compartiment S3 ou en choisir un existant.

    Nouveau délimiteur de ligne

    Vous pouvez configurer votre flux Firehose pour ajouter un nouveau délimiteur de ligne entre les enregistrements des objets envoyés à Amazon S3. Pour ce faire, choisissez Activé. Pour ne pas ajouter de nouveau délimiteur de ligne entre les enregistrements des objets diffusés à Amazon S3, choisissez Désactivé. Si vous envisagez d'utiliser Athena pour interroger des objets S3 avec des enregistrements agrégés, activez cette option.

    Partitionnement dynamique

    Choisissez Activé pour activer et configurer le partitionnement dynamique.

    Déagrégation de plusieurs enregistrements

    Il s'agit du processus qui consiste à analyser les enregistrements du flux Firehose et à les séparer en fonction de la JSON validité ou du nouveau délimiteur de ligne spécifié.

    Si vous regroupez plusieurs événements, journaux ou enregistrements en un seul PutRecord PutRecordBatch API appel, vous pouvez toujours activer et configurer le partitionnement dynamique. Avec les données agrégées, lorsque vous activez le partitionnement dynamique, Amazon Data Firehose analyse les enregistrements et recherche plusieurs objets JSON valides dans chaque appel. API Lorsque le flux Firehose est configuré avec Kinesis Data Stream comme source, vous pouvez également utiliser l'agrégation intégrée dans la bibliothèque Kinesis Producer (). KPL La fonctionnalité de partition des données est exécutée après la désagrégation des données. Par conséquent, chaque enregistrement de chaque API appel peut être transmis à différents préfixes Amazon S3. Vous pouvez également tirer parti de l'intégration de la fonction Lambda pour effectuer toute autre désagrégation ou toute autre transformation avant la fonctionnalité de partitionnement des données.

    Important

    Si vos données sont agrégées, le partitionnement dynamique ne peut être appliqué qu'après la désagrégation des données. Ainsi, si vous activez le partitionnement dynamique de vos données agrégées, vous devez sélectionner Activé pour activer la désagrégation multi-enregistrements.

    Firehose Stream exécute les étapes de traitement suivantes dans l'ordre suivant : désagrégation KPL (protobuf), ou désagrégation par JSON délimiteur, traitement Lambda, partitionnement des données, conversion des formats de données et livraison Amazon S3.

    Type de désagrégation à enregistrements multiples

    Si vous avez activé la désagrégation multi-enregistrements, vous devez spécifier la méthode que Firehose utilisera pour désagréger vos données. Utilisez le menu déroulant pour choisir entre l'une ou l'autre option JSONou Délimité.

    Analyse en ligne

    Il s'agit de l'un des mécanismes pris en charge pour partitionner dynamiquement vos données destinées à Amazon S3. Pour utiliser l'analyse en ligne pour le partitionnement dynamique pour vos données, vous devez spécifier les paramètres d'enregistrement de données à utiliser comme clés de partitionnement et fournir une valeur pour chaque clé de partitionnement spécifiée. Choisissez Activé pour activer et configurer le l'analyse en ligne.

    Important

    Si vous avez spécifié une fonction AWS Lambda dans les étapes ci-dessus pour transformer vos enregistrements source, vous pouvez utiliser cette fonction pour partitionner dynamiquement vos données liées à S3 et vous pouvez toujours créer vos clés de partitionnement grâce à l'analyse en ligne. Avec le partitionnement dynamique, vous pouvez utiliser l'analyse en ligne ou votre fonction AWS Lambda pour créer vos clés de partitionnement. Vous pouvez également utiliser à la fois l'analyse en ligne et votre fonction AWS Lambda pour créer vos clés de partitionnement.

    Clés de partitionnement dynamique

    Vous pouvez utiliser les champs Clé et Valeur pour spécifier les paramètres d'enregistrement de données à utiliser comme clés de partitionnement dynamique et les requêtes JQ pour générer des valeurs de clé de partitionnement dynamique. Firehose ne supporte que jq 1.6. Vous pouvez spécifier jusqu'à 50 clés de partitionnement dynamique. Vous devez entrer des expressions jq valides pour les valeurs de vos clés de partitionnement dynamique afin de configurer correctement le partitionnement dynamique pour votre flux Firehose.

    Préfixe du compartiment S3

    Lorsque vous activez et configurez le partitionnement dynamique, vous devez spécifier les préfixes de compartiment S3 auxquels Amazon Data Firehose doit fournir les données partitionnées.

    Pour que le partitionnement dynamique soit correctement configuré, le nombre de préfixes du compartiment S3 doit être identique au nombre de clés de partitionnement spécifiées.

    Vous pouvez partitionner vos données sources à l'aide de l'analyse en ligne ou de la fonction Lambda AWS que vous avez spécifiée. Si vous avez spécifié une fonction AWS Lambda pour créer des clés de partitionnement pour vos données sources, vous devez saisir manuellement les valeurs du préfixe du compartiment S3 en utilisant le format suivant : « Lambda:KeyID ». partitionKeyFrom Si vous utilisez l'analyse en ligne pour spécifier les clés de partitionnement de vos données sources, vous pouvez soit saisir manuellement les valeurs d'aperçu du compartiment S3 en utilisant le format suivant : « partitionKeyFrom query:keyID », soit choisir le bouton Appliquer les clés de partitionnement dynamique pour utiliser vos paires clé/valeur de partitionnement dynamique afin de générer automatiquement les préfixes de vos compartiments S3. Lorsque vous partitionnez vos données à l'aide de l'analyse en ligne ou de AWS Lambda, vous pouvez également utiliser les formes d'expression suivantes dans le préfixe de votre compartiment S3 : ! {namespace:value}, où l'espace de noms peut être Query ou Lambda. partitionKeyFrom partitionKeyFrom

    Bucket S3 et fuseau horaire du préfixe de sortie d'erreur S3

    Choisissez le fuseau horaire que vous souhaitez utiliser pour la date et l'heure dans les préfixes personnalisés des objets Amazon S3. Par défaut, Firehose ajoute un préfixe horaire. UTC Vous pouvez modifier le fuseau horaire utilisé dans les préfixes S3 si vous souhaitez utiliser un autre fuseau horaire.

    Conseils de mise en mémoire tampon

    Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

    Compression S3

    Choisissez entre GZIP une compression de données Snappy, Zip ou compatible avec Hadoop, ou aucune compression de données. La compression Snappy, Zip et compatible avec Hadoop n'est pas disponible pour les streams Firehose avec Amazon Redshift comme destination.

    Format d'extension de fichier S3 (facultatif)

    Spécifiez un format d'extension de fichier pour les objets livrés au compartiment de destination Amazon S3. Si vous activez cette fonctionnalité, l'extension de fichier spécifiée remplacera les extensions de fichier par défaut ajoutées par les fonctionnalités de conversion de format de données ou de compression S3 telles que .parquet ou .gz. Assurez-vous d'avoir configuré la bonne extension de fichier lorsque vous utilisez cette fonctionnalité avec la conversion de format de données ou la compression S3. L'extension de fichier doit commencer par un point (.) et peut contenir les caractères autorisés : 0-9a-z ! -_.*' (). L'extension de fichier ne peut pas dépasser 128 caractères.

    Chiffrement S3

    Firehose prend en charge le chiffrement côté serveur Amazon S3 avec AWS Key Management Service (SSE-KMS) pour chiffrer les données livrées dans Amazon S3. Vous pouvez choisir d'utiliser le type de chiffrement par défaut spécifié dans le compartiment S3 de destination ou de chiffrer avec une clé de la liste des AWS KMS clés que vous possédez. Si vous chiffrez les données à l'aide de AWS KMS clés, vous pouvez utiliser la clé AWS gérée par défaut (aws/s3) ou une clé gérée par le client. Pour plus d'informations, voir Protection des données à l'aide du chiffrement côté serveur avec des clés AWS KMS gérées (SSE-). KMS

Configuration des paramètres de destination pour les tables Apache Iceberg

Firehose prend en charge les tables Apache Iceberg comme destination dans toutes les régions sauf en Régions AWSChine et en Asie-Pacifique (Malaisie). AWS GovCloud (US) Regions

Pour plus d'informations sur les tables Apache Iceberg en tant que destination, consultezFournissez des données aux tables Apache Iceberg avec Amazon Data Firehose.

Configuration des paramètres de destination pour Amazon Redshift

Cette section décrit les paramètres d'utilisation d'Amazon Redshift comme destination de votre stream Firehose.

Choisissez l'une des procédures suivantes selon que vous disposez d'un cluster Amazon Redshift provisionné ou d'un groupe de travail Amazon Redshift sans serveur.

Cluster provisionné Amazon Redshift

Cette section décrit les paramètres d'utilisation du cluster provisionné Amazon Redshift comme destination de votre flux Firehose.

  • Saisissez des valeurs pour les champs suivants :

    Cluster

    Cluster Amazon Redshift dans lequel vos données de compartiment S3 sont copiées. Configurez le cluster Amazon Redshift pour qu'il soit accessible au public et débloquez les adresses IP Amazon Data Firehose. Pour de plus amples informations, veuillez consulter Accorder à Firehose l'accès à une destination Amazon Redshift .

    Authentification

    Vous pouvez choisir de saisir directement le nom d'utilisateur/mot de passe ou de récupérer le code secret AWS Secrets Manager pour accéder au cluster Amazon Redshift.

    • Nom utilisateur

      Spécifiez un utilisateur Amazon Redshift autorisé à accéder au cluster Amazon Redshift. Cet utilisateur doit avoir l'autorisation INSERT d'Amazon Redshift pour copier des données du compartiment S3 vers le cluster Amazon Redshift.

    • Mot de passe :

      Spécifiez le mot de passe de l'utilisateur autorisé à accéder au cluster.

    • Secret

      Sélectionnez un code secret AWS Secrets Manager contenant les informations d'identification du cluster Amazon Redshift. Si votre code secret ne figure pas dans la liste déroulante, créez-en un AWS Secrets Manager pour vos informations d'identification Amazon Redshift. Pour de plus amples informations, veuillez consulter Authentifiez-vous AWS Secrets Manager dans Amazon Data Firehose.

    Database (Base de données)

    La base de données Amazon Redshift dans laquelle les données sont copiées.

    Tableau 

    La table Amazon Redshift dans laquelle les données sont copiées.

    Colonnes

    (Facultatif) Colonnes spécifiques de la table dans laquelle les données sont copiées. Utilisez cette option si le nombre de colonnes défini dans vos objets Amazon S3 est inférieur au nombre de colonnes de la table Amazon Redshift.

    Destination S3 intermédiaire

    Firehose envoie d'abord vos données dans votre compartiment S3, puis émet une commande Amazon COPY Redshift pour charger les données dans votre cluster Amazon Redshift. Spécifiez un compartiment S3 que vous possédez dans lequel les données de diffusion en continu doivent être diffusées. Créez un nouveau compartiment S3 ou choisissez un compartiment existant dont vous êtes propriétaire.

    Firehose ne supprime pas les données de votre compartiment S3 après les avoir chargées dans votre cluster Amazon Redshift. Vous pouvez gérer les données de votre compartiment S3 à l'aide d'une configuration du cycle de vie. Pour plus d'informations, consultez lGestion du cycle de vie des objets dans le Guide de l'utilisateur Amazon Simple Storage Service.

    Préfixe du compartiment S3 intermédiaire

    (Facultatif) Pour utiliser le préfixe par défaut des objets Amazon S3, laissez cette option vide. Firehose utilise automatiquement un préfixe au format « YYYY/MM/dd/HH » pour les UTC objets Amazon S3 livrés. Vous pouvez ajouter le début de ce préfixe. Pour de plus amples informations, veuillez consulter Configurer le format du nom d'objet Amazon S3.

    COPYoptions

    Paramètres que vous pouvez spécifier dans la commande COPY d'Amazon Redshift. Ils peuvent être nécessaires pour votre configuration. Par exemple, « GZIP » est obligatoire si la compression des données Amazon S3 est activée. « REGION » est obligatoire si votre compartiment S3 ne se trouve pas dans la même AWS région que votre cluster Amazon Redshift. Pour en savoir plus, consultez COPY dans le Guide du développeur de base de données Amazon Redshift.

    Commande COPY de la

    La commande COPY Amazon Redshift. Pour en savoir plus, consultez COPY dans le Guide du développeur de base de données Amazon Redshift.

    Retry duration (Durée de la nouvelle tentative)

    Durée (0 à 7 200 secondes) pendant laquelle Firehose doit réessayer si les données de votre cluster COPY Amazon Redshift échouent. Firehose réessaie toutes les 5 minutes jusqu'à la fin de la période d'essai. Si vous définissez la durée de la nouvelle tentative sur 0 (zéro) seconde, Firehose ne réessaie pas en cas d'échec d'une commande. COPY

    Conseils de mise en mémoire tampon

    Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

    Compression S3

    Choisissez entre GZIP une compression de données Snappy, Zip ou compatible avec Hadoop, ou aucune compression de données. La compression Snappy, Zip et compatible avec Hadoop n'est pas disponible pour les streams Firehose avec Amazon Redshift comme destination.

    Format d'extension de fichier S3 (facultatif)

    Format d'extension de fichier S3 (facultatif) : spécifiez un format d'extension de fichier pour les objets livrés au compartiment de destination Amazon S3. Si vous activez cette fonctionnalité, l'extension de fichier spécifiée remplacera les extensions de fichier par défaut ajoutées par les fonctionnalités de conversion de format de données ou de compression S3 telles que .parquet ou .gz. Assurez-vous d'avoir configuré la bonne extension de fichier lorsque vous utilisez cette fonctionnalité avec la conversion de format de données ou la compression S3. L'extension de fichier doit commencer par un point (.) et peut contenir les caractères autorisés : 0-9a-z ! -_.*' (). L'extension de fichier ne peut pas dépasser 128 caractères.

    Chiffrement S3

    Firehose prend en charge le chiffrement côté serveur Amazon S3 avec AWS Key Management Service (SSE-KMS) pour chiffrer les données livrées dans Amazon S3. Vous pouvez choisir d'utiliser le type de chiffrement par défaut spécifié dans le compartiment S3 de destination ou de chiffrer avec une clé de la liste des AWS KMS clés que vous possédez. Si vous chiffrez les données à l'aide de AWS KMS clés, vous pouvez utiliser la clé AWS gérée par défaut (aws/s3) ou une clé gérée par le client. Pour plus d'informations, voir Protection des données à l'aide du chiffrement côté serveur avec des clés AWS KMS gérées (SSE-). KMS

Configuration des paramètres de destination pour le groupe de travail Amazon Redshift Serverless

Cette section décrit les paramètres d'utilisation du groupe de travail Amazon Redshift Serverless comme destination de votre stream Firehose.

  • Saisissez des valeurs pour les champs suivants :

    Nom du groupe de travail

    Le groupe de travail Amazon Redshift sans serveur dans lequel vos données de compartiment S3 sont copiées. Configurez le groupe de travail Amazon Redshift Serverless pour qu'il soit accessible au public et débloquez les adresses IP Firehose. Pour de plus amples informations, consultez la section de l'instance Se connecter à Amazon Redshift sans serveur lorsqu'il est publiquement accessible dans Connexion à Amazon Redshift sans serveur et également Accorder à Firehose l'accès à une destination Amazon Redshift .

    Authentification

    Vous pouvez choisir de saisir directement le nom d'utilisateur/mot de passe ou de récupérer le code secret pour accéder AWS Secrets Manager au groupe de travail Amazon Redshift Serverless.

    • Nom utilisateur

      Spécifiez un utilisateur Amazon Redshift autorisé à accéder au groupe de travail Amazon Redshift Serverless. Cet utilisateur doit avoir l'autorisation INSERT d'Amazon Redshift pour copier des données du compartiment S3 vers le groupe de travail Amazon Redshift sans serveur.

    • Mot de passe :

      Spécifiez le mot de passe de l'utilisateur autorisé à accéder au groupe de travail Amazon Redshift Serverless.

    • Secret

      Sélectionnez un code secret AWS Secrets Manager contenant les informations d'identification du groupe de travail Amazon Redshift Serverless. Si votre code secret ne figure pas dans la liste déroulante, créez-en un AWS Secrets Manager pour vos informations d'identification Amazon Redshift. Pour de plus amples informations, veuillez consulter Authentifiez-vous AWS Secrets Manager dans Amazon Data Firehose.

    Database (Base de données)

    La base de données Amazon Redshift dans laquelle les données sont copiées.

    Tableau 

    La table Amazon Redshift dans laquelle les données sont copiées.

    Colonnes

    (Facultatif) Colonnes spécifiques de la table dans laquelle les données sont copiées. Utilisez cette option si le nombre de colonnes défini dans vos objets Amazon S3 est inférieur au nombre de colonnes de la table Amazon Redshift.

    Destination S3 intermédiaire

    Amazon Data Firehose envoie d'abord vos données dans votre compartiment S3, puis émet une commande Amazon COPY Redshift pour charger les données dans votre groupe de travail Amazon Redshift Serverless. Spécifiez un compartiment S3 que vous possédez dans lequel les données de diffusion en continu doivent être diffusées. Créez un nouveau compartiment S3 ou choisissez un compartiment existant dont vous êtes propriétaire.

    Firehose ne supprime pas les données de votre compartiment S3 après les avoir chargées dans votre groupe de travail Amazon Redshift Serverless. Vous pouvez gérer les données de votre compartiment S3 à l'aide d'une configuration du cycle de vie. Pour plus d'informations, consultez lGestion du cycle de vie des objets dans le Guide de l'utilisateur Amazon Simple Storage Service.

    Préfixe du compartiment S3 intermédiaire

    (Facultatif) Pour utiliser le préfixe par défaut des objets Amazon S3, laissez cette option vide. Firehose utilise automatiquement un préfixe au format « YYYY/MM/dd/HH » pour les UTC objets Amazon S3 livrés. Vous pouvez ajouter le début de ce préfixe. Pour de plus amples informations, veuillez consulter Configurer le format du nom d'objet Amazon S3.

    COPYoptions

    Paramètres que vous pouvez spécifier dans la commande COPY d'Amazon Redshift. Ils peuvent être nécessaires pour votre configuration. Par exemple, « GZIP » est obligatoire si la compression des données Amazon S3 est activée. « REGION » est obligatoire si votre compartiment S3 ne se trouve pas dans la même AWS région que votre groupe de travail Amazon Redshift Serverless. Pour en savoir plus, consultez COPY dans le Guide du développeur de base de données Amazon Redshift.

    Commande COPY de la

    La commande COPY Amazon Redshift. Pour en savoir plus, consultez COPY dans le Guide du développeur de base de données Amazon Redshift.

    Retry duration (Durée de la nouvelle tentative)

    Durée (0 à 7 200 secondes) pendant laquelle Firehose doit réessayer si les données de votre groupe de travail COPY Amazon Redshift Serverless échouent. Firehose réessaie toutes les 5 minutes jusqu'à la fin de la période d'essai. Si vous définissez la durée de la nouvelle tentative sur 0 (zéro) seconde, Firehose ne réessaie pas en cas d'échec d'une commande. COPY

    Conseils de mise en mémoire tampon

    Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

    Compression S3

    Choisissez entre GZIP une compression de données Snappy, Zip ou compatible avec Hadoop, ou aucune compression de données. La compression Snappy, Zip et compatible avec Hadoop n'est pas disponible pour les streams Firehose avec Amazon Redshift comme destination.

    Format d'extension de fichier S3 (facultatif)

    Format d'extension de fichier S3 (facultatif) : spécifiez un format d'extension de fichier pour les objets livrés au compartiment de destination Amazon S3. Si vous activez cette fonctionnalité, l'extension de fichier spécifiée remplacera les extensions de fichier par défaut ajoutées par les fonctionnalités de conversion de format de données ou de compression S3 telles que .parquet ou .gz. Assurez-vous d'avoir configuré la bonne extension de fichier lorsque vous utilisez cette fonctionnalité avec la conversion de format de données ou la compression S3. L'extension de fichier doit commencer par un point (.) et peut contenir les caractères autorisés : 0-9a-z ! -_.*' (). L'extension de fichier ne peut pas dépasser 128 caractères.

    Chiffrement S3

    Firehose prend en charge le chiffrement côté serveur Amazon S3 avec AWS Key Management Service (SSE-KMS) pour chiffrer les données livrées dans Amazon S3. Vous pouvez choisir d'utiliser le type de chiffrement par défaut spécifié dans le compartiment S3 de destination ou de chiffrer avec une clé de la liste des AWS KMS clés que vous possédez. Si vous chiffrez les données à l'aide de AWS KMS clés, vous pouvez utiliser la clé AWS gérée par défaut (aws/s3) ou une clé gérée par le client. Pour plus d'informations, voir Protection des données à l'aide du chiffrement côté serveur avec des clés AWS KMS gérées (SSE-). KMS

Configurer les paramètres de destination pour le OpenSearch service

Cette section décrit les options d'utilisation OpenSearch du Service pour votre destination.

  • Saisissez des valeurs pour les champs suivants :

    OpenSearch Domaine de service

    Le domaine de OpenSearch service vers lequel vos données sont livrées.

    Index

    Le nom OpenSearch de l'index de service à utiliser lors de l'indexation des données dans votre cluster OpenSearch de services.

    Index rotation

    Choisissez si et à quelle fréquence l'index OpenSearch de service doit être pivoté. Si la rotation de l'index est activée, Amazon Data Firehose ajoute l'horodatage correspondant au nom d'index spécifié et effectue une rotation. Pour de plus amples informations, veuillez consulter Configurer la rotation de l'index pour le OpenSearch service.

    Type

    Le nom du type de OpenSearch service à utiliser lors de l'indexation des données dans votre cluster OpenSearch de services. Pour Elasticsearch 7.x et OpenSearch 1.x, il ne peut y avoir qu'un seul type par index. Si vous essayez de spécifier un nouveau type pour un index existant qui possède déjà un autre type, Firehose renvoie une erreur lors de l'exécution.

    Pour Elasticsearch 7.x, laissez ce champ vide.

    Retry duration (Durée de la nouvelle tentative)

    Durée pendant laquelle Firehose doit réessayer en cas d'échec d'une demande d'index. OpenSearch Pour la durée de la nouvelle tentative, vous pouvez définir une valeur comprise entre 0 et 7 200 secondes. La durée de nouvelle tentative par défaut est de 300 secondes. Firehose réessaiera plusieurs fois avec un arrêt exponentiel jusqu'à ce que le délai de réessai expire.

    Une fois le délai de nouvelle tentative expiré, Firehose fournit les données à Dead Letter Queue DLQ (), un compartiment d'erreurs S3 configuré. Pour les données envoyées àDLQ, vous devez les rediriger du compartiment d'erreur S3 configuré vers la OpenSearch destination.

    Si vous souhaitez empêcher Firehose Stream de fournir des données DLQ en raison d'une interruption de service ou de la maintenance de OpenSearch clusters, vous pouvez configurer la durée des nouvelles tentatives à une valeur plus élevée en secondes. Vous pouvez augmenter la durée de la nouvelle tentative ci-dessus à 7200 secondes en contactant le AWS support.

    Type de DocumentID

    Indique la méthode de configuration de l'ID du document. Les méthodes prises en charge sont l'ID de document généré par Firehose et l'ID de document généré par le OpenSearch Service. L'ID de document généré par Firehose est l'option par défaut lorsque la valeur de l'ID de document n'est pas définie. OpenSearch L'ID de document généré par le service est l'option recommandée car elle prend en charge les opérations nécessitant beaucoup d'écriture, notamment l'analyse des journaux et l'observabilité, consommant ainsi moins de CPU ressources dans le domaine des OpenSearch services et améliorant ainsi les performances.

    VPCConnectivité des destinations

    Si votre domaine de OpenSearch service est privéVPC, utilisez cette section pour le spécifierVPC. Spécifiez également les sous-réseaux et sous-groupes que vous souhaitez qu'Amazon Data Firehose utilise lorsqu'il envoie des données à votre domaine de service. OpenSearch Vous pouvez utiliser les mêmes groupes de sécurité que ceux utilisés par le domaine de OpenSearch service. Si vous spécifiez différents groupes de sécurité, assurez-vous qu'ils autorisent le HTTPS trafic sortant vers le groupe de sécurité du domaine de OpenSearch service. Assurez-vous également que le groupe de sécurité du domaine de OpenSearch service autorise le HTTPS trafic provenant des groupes de sécurité que vous avez spécifiés lors de la configuration de votre stream Firehose. Si vous utilisez le même groupe de sécurité pour votre stream Firehose et pour le domaine de OpenSearch service, assurez-vous que la règle d'entrée du groupe de sécurité autorise le trafic. HTTPS Pour plus d'informations sur les règles des groupes de sécurité, consultez la section Règles des groupes de sécurité dans la VPC documentation Amazon.

    Important

    Lorsque vous spécifiez des sous-réseaux pour transmettre des données à la destination dans un environnement privéVPC, assurez-vous de disposer d'un nombre suffisant d'adresses IP libres dans les sous-réseaux sélectionnés. Si aucune adresse IP gratuite n'est disponible dans un sous-réseau spécifié, Firehose ne peut pas créer ou ENIs ajouter de données pour la livraison de données en mode VPC privé, et la livraison sera dégradée ou échouera.

    Indices de mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Configuration des paramètres de destination pour OpenSearch Serverless

Cette section décrit les options permettant d'utiliser OpenSearch Serverless pour votre destination.

  • Saisissez des valeurs pour les champs suivants :

    OpenSearch Collecte sans serveur

    Point de terminaison d'un groupe d'index OpenSearch sans serveur auquel vos données sont livrées.

    Index

    Le nom de l'index OpenSearch Serverless à utiliser lors de l'indexation des données dans votre collection OpenSearch Serverless.

    VPCConnectivité des destinations

    Si votre collection OpenSearch Serverless est privéeVPC, utilisez cette section pour le spécifier. VPC Spécifiez également les sous-réseaux et sous-groupes que vous souhaitez qu'Amazon Data Firehose utilise lorsqu'il envoie des données à votre collection Serverless. OpenSearch

    Important

    Lorsque vous spécifiez des sous-réseaux pour transmettre des données à la destination dans un environnement privéVPC, assurez-vous de disposer d'un nombre suffisant d'adresses IP libres dans les sous-réseaux sélectionnés. Si aucune adresse IP gratuite n'est disponible dans un sous-réseau spécifié, Firehose ne peut pas créer ou ENIs ajouter de données pour la livraison de données en mode VPC privé, et la livraison sera dégradée ou échouera.

    Retry duration (Durée de la nouvelle tentative)

    Durée pendant laquelle Firehose doit réessayer en cas d'échec d'une demande d'index adressée à OpenSearch Serverless. Pour la durée de la nouvelle tentative, vous pouvez définir une valeur comprise entre 0 et 7 200 secondes. La durée de nouvelle tentative par défaut est de 300 secondes. Firehose réessaiera plusieurs fois avec un arrêt exponentiel jusqu'à ce que le délai de réessai expire.

    Une fois le délai de nouvelle tentative expiré, Firehose fournit les données à Dead Letter Queue DLQ (), un compartiment d'erreurs S3 configuré. Pour les données transmises àDLQ, vous devez les rediriger du compartiment d'erreur S3 configuré vers une destination OpenSearch sans serveur.

    Si vous souhaitez empêcher Firehose Stream de fournir des données DLQ en raison d'une interruption de service ou de la maintenance de clusters OpenSearch sans serveur, vous pouvez configurer la durée des nouvelles tentatives à une valeur plus élevée en secondes. Vous pouvez augmenter la durée de la nouvelle tentative ci-dessus à 7200 secondes en contactant le AWS support.

    Indices de mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Configurer les paramètres de destination pour HTTP Endpoint

Cette section décrit les options d'utilisation du point de HTTPterminaison pour votre destination.

Important

Si vous choisissez un HTTP point de terminaison comme destination, consultez et suivez les instructions figurant dansComprendre les spécifications relatives aux demandes de livraison et aux réponses des HTTP terminaux.

  • Fournissez des valeurs pour les champs suivants :

    HTTPnom du point de terminaison - facultatif

    Spécifiez un nom convivial pour le HTTP point de terminaison. Par exemple, My HTTP Endpoint Destination.

    HTTPpoint final URL

    Spécifiez URL le HTTP point de terminaison au format suivant :https://xyz.httpendpoint.com. URLIl doit s'agir d'un HTTPSURL.

    Authentification

    Vous pouvez choisir de saisir directement la clé d'accès ou de récupérer le secret AWS Secrets Manager pour accéder au point de HTTP terminaison.

    • (Facultatif) Clé d'accès

      Contactez le propriétaire du terminal si vous avez besoin d'obtenir la clé d'accès pour permettre la livraison de données à son point de terminaison depuis Firehose.

    • Secret

      Sélectionnez un code secret AWS Secrets Manager contenant la clé d'accès au HTTP point de terminaison. Si votre code secret ne figure pas dans la liste déroulante, créez-en un AWS Secrets Manager pour la clé d'accès. Pour de plus amples informations, veuillez consulter Authentifiez-vous AWS Secrets Manager dans Amazon Data Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIPou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données au point de terminaison sélectionné. HTTP

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du terminal. HTTP Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au HTTP terminal (soit lors de la tentative initiale, soit lors d'une nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison. HTTP

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel. HTTP Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

    Important

    En ce qui concerne les destinations des HTTP terminaux, si 413 codes de réponse proviennent du point de terminaison de destination dans CloudWatch Logs, réduisez la taille de l'indicateur de mise en mémoire tampon sur votre stream Firehose et réessayez.

Configurer les paramètres de destination pour Datadog

Cette section décrit les options dont vous disposez pour utiliser Datadog comme destination. Pour plus d'informations sur Datadog, consultez https://docs.datadoghq.com/integrations/ amazon_web_services/.

  • Entrez des valeurs pour les champs suivants.

    HTTPpoint final URL

    Choisissez l'endroit où vous souhaitez envoyer les données à partir de l'une des options suivantes du menu déroulant.

    • Logs Datadog - US1

    • Logs Datadog - US3

    • Logs Datadog - US5

    • Logs Datadog - AP1

    • Journaux Datadog – EU

    • Logs Datadog - GOV

    • Métriques Datadog – US

    • Métriques Datadog - US5

    • Métriques Datadog - AP1

    • Métriques Datadog – EU

    • Configurations Datadog - US1

    • Configurations Datadog - US3

    • Configurations Datadog - US5

    • Configurations Datadog - AP1

    • Configurations Datadog - UE

    • Configurations Datadog - États-Unis GOV

    Authentification

    Vous pouvez choisir de saisir directement la API clé ou de récupérer le code secret AWS Secrets Manager pour accéder à Datadog.

    • APIclé

      Contactez Datadog pour obtenir la API clé dont vous avez besoin pour permettre à Firehose de transmettre des données à ce point de terminaison.

    • Secret

      Sélectionnez un code secret AWS Secrets Manager contenant la API clé de Datadog. Si vous ne voyez pas votre secret dans la liste déroulante, créez-en un dans AWS Secrets Manager. Pour de plus amples informations, veuillez consulter Authentifiez-vous AWS Secrets Manager dans Amazon Data Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIPou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données au point de terminaison sélectionné. HTTP

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du terminal. HTTP Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au HTTP terminal (soit lors de la tentative initiale, soit lors d'une nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison. HTTP

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel. HTTP Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Configurer les paramètres de destination pour Honeycomb

Cette section décrit les options dont vous disposez pour utiliser Honeycomb comme destination. Pour plus d'informations sur Honeycomb, consultez https://docs.honeycomb. io/getting-data-in/metrics/aws -cloudwatch-metrics/.

  • Fournissez des valeurs pour les champs suivants :

    Point de terminaison Kinesis Honeycomb

    Spécifiez le point URL de HTTP terminaison au format suivant : https://api.honeycom b.io/1/kinesis_events/ {{dataset}}

    Authentification

    Vous pouvez choisir de saisir directement la API clé ou de récupérer le secret AWS Secrets Manager pour accéder à Honeycomb.

    • APIclé

      Contactez Honeycomb pour obtenir la API clé dont vous avez besoin pour activer la livraison de données à ce point de terminaison depuis Firehose.

    • Secret

      Sélectionnez un secret AWS Secrets Manager qui contient la API clé de Honeycomb. Si vous ne voyez pas votre secret dans la liste déroulante, créez-en un dans AWS Secrets Manager. Pour de plus amples informations, veuillez consulter Authentifiez-vous AWS Secrets Manager dans Amazon Data Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIPd'activer le codage du contenu de votre demande. Il s'agit là de l'option recommandée pour la destination Honeycomb.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données au point de terminaison sélectionné. HTTP

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du terminal. HTTP Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au HTTP terminal (soit lors de la tentative initiale, soit lors d'une nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison. HTTP

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel. HTTP Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Configuration des paramètres de destination pour Coralogix

Cette section décrit les options dont vous disposez pour utiliser Coralogix comme destination. Pour plus d'informations sur Coralogix, voir Commencer avec Coralogix.

  • Fournissez des valeurs pour les champs suivants :

    HTTPpoint final URL

    Choisissez le HTTP point URL de terminaison parmi les options suivantes dans le menu déroulant :

    • Coralogix – États-Unis

    • Coralogix - SINGAPORE

    • Coralogix - IRELAND

    • Coralogix - INDIA

    • Coralogix - STOCKHOLM

    Authentification

    Vous pouvez choisir de saisir directement la clé privée ou de récupérer le secret AWS Secrets Manager pour accéder à Coralogix.

    • Clé privée

      Contactez Coralogix pour obtenir la clé privée dont vous avez besoin pour permettre la livraison de données à ce point de terminaison depuis Firehose.

    • Secret

      Sélectionnez un code secret AWS Secrets Manager contenant la clé privée de Coralogix. Si vous ne voyez pas votre secret dans la liste déroulante, créez-en un dans AWS Secrets Manager. Pour de plus amples informations, veuillez consulter Authentifiez-vous AWS Secrets Manager dans Amazon Data Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIPd'activer le codage du contenu de votre demande. Il s'agit là de l'option recommandée pour la destination Coralogix.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données au point de terminaison sélectionné. HTTP

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du terminal. HTTP Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au HTTP terminal (soit lors de la tentative initiale, soit lors d'une nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison. HTTP

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel. HTTP Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    • applicationName: l'environnement dans lequel vous exécutez Data Firehose

    • subsystemName: le nom de l'intégration Data Firehose

    • computerName: le nom du stream Firehose en cours d'utilisation

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie en fonction du fournisseur de services.

Configuration des paramètres de destination pour Dynatrace

Cette section décrit les options dont vous disposez pour utiliser Dynatrace comme destination. Pour plus d'informations, consultez https://www.dynatrace.com/support/help/technology-support/cloud-platforms/amazon-web-services/integrations/cloudwatch-metric-streams/.

  • Choisissez des options pour utiliser Dynatrace comme destination pour votre stream Firehose.

    Type d'ingestion

    Choisissez si vous souhaitez fournir des métriques ou des journaux (par défaut) dans Dynatrace pour une analyse et un traitement plus approfondis.

    HTTPpoint final URL

    Choisissez le HTTP point de terminaison URL (Dynatrace US, Dynatrace EU ou Dynatrace Global) dans le menu déroulant.

    Authentification

    Vous pouvez choisir de saisir le API jeton directement ou de récupérer le secret AWS Secrets Manager pour accéder à Dynatrace.

    • Jeton API

      Générez le API jeton Dynatrace dont vous avez besoin pour permettre la livraison de données à ce point de terminaison depuis Firehose. Pour plus d'informations, consultez Dynatrace API - Tokens et authentification.

    • Secret

      Sélectionnez un secret parmi ceux AWS Secrets Manager qui contiennent le API jeton pour Dynatrace. Si vous ne voyez pas votre secret dans la liste déroulante, créez-en un dans AWS Secrets Manager. Pour de plus amples informations, veuillez consulter Authentifiez-vous AWS Secrets Manager dans Amazon Data Firehose.

    API URL

    Fournissez le contenu API URL de votre environnement Dynatrace.

    Encodage de contenu

    Choisissez si vous souhaitez activer le codage du contenu pour compresser le corps de la demande. Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Lorsque cette option est activée, le contenu est compressé au GZIPformat.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Firehose tente à nouveau d'envoyer des données au point de terminaison sélectionné. HTTP

    Après avoir envoyé des données, Firehose attend d'abord un accusé de réception de la part du terminal. HTTP Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Ensuite, Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois que Firehose envoie des données au HTTP terminal, que ce soit lors de la tentative initiale ou après une nouvelle tentative, il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison. HTTP

    Même si la durée de la nouvelle tentative expire, Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne voulez pas que Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel. HTTP Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. Les indications relatives à la mémoire tampon incluent la taille de la mémoire tampon et l'intervalle de vos flux. La taille de mémoire tampon recommandée pour la destination varie en fonction du fournisseur de services.

Configurer les paramètres de destination pour LogicMonitor

Cette section décrit les options dont vous disposez pour utiliser LogicMonitor en tant que destination. Pour de plus amples informations, veuillez consulter https://www.logicmonitor.com.

  • Fournissez des valeurs pour les champs suivants :

    HTTPpoint final URL

    Spécifiez URL le HTTP point de terminaison au format suivant.

    https://ACCOUNT.logicmonitor.com
    Authentification

    Vous pouvez choisir de saisir directement la API clé ou de récupérer le secret AWS Secrets Manager pour y accéder LogicMonitor.

    • APIclé

      Contactez-nous LogicMonitor pour obtenir la API clé dont vous avez besoin pour activer la livraison de données à ce point de terminaison depuis Firehose.

    • Secret

      Sélectionnez un secret parmi AWS Secrets Manager lequel figure la API clé pour LogicMonitor. Si vous ne voyez pas votre secret dans la liste déroulante, créez-en un dans AWS Secrets Manager. Pour de plus amples informations, veuillez consulter Authentifiez-vous AWS Secrets Manager dans Amazon Data Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIPou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données au point de terminaison sélectionné. HTTP

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du terminal. HTTP Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au HTTP terminal (soit lors de la tentative initiale, soit lors d'une nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison. HTTP

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel. HTTP Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Configurer les paramètres de destination pour Logz.io

Cette section décrit les options dont vous disposez pour utiliser Logz.io comme destination. Pour plus d'informations, consultez https://logz.io/.

Note

Dans la région Europe (Milan), Logz.io n'est pas pris en charge en tant que destination Amazon Data Firehose.

  • Fournissez des valeurs pour les champs suivants :

    HTTPpoint final URL

    Spécifiez URL le HTTP point de terminaison au format suivant. URLIl doit s'agir d'un HTTPSURL.

    https://listener-aws-metrics-stream-<region>.logz.io/

    Par exemple

    https://listener-aws-metrics-stream-us.logz.io/
    Authentification

    Vous pouvez choisir de saisir directement le code d'expédition ou de récupérer le code secret AWS Secrets Manager pour accéder à Logz.io.

    • Jeton d'expédition

      Contactez Logz.io pour obtenir le jeton d'expédition dont vous avez besoin pour activer la livraison de données à ce point de terminaison depuis Firehose.

    • Secret

      Sélectionnez un code secret AWS Secrets Manager contenant le jeton d'expédition pour Logz.io. Si vous ne voyez pas votre secret dans la liste déroulante, créez-en un dans AWS Secrets Manager. Pour de plus amples informations, veuillez consulter Authentifiez-vous AWS Secrets Manager dans Amazon Data Firehose.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données à Logz.io.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du terminal. HTTP Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au HTTP terminal (soit lors de la tentative initiale, soit lors d'une nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison. HTTP

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel. HTTP Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Configurer les paramètres de destination pour MongoDB Cloud

Cette section décrit les options dont vous disposez pour utiliser MongoDB Cloud comme destination. Pour de plus amples informations, veuillez consulter https://www.mongodb.com.

  • Fournissez des valeurs pour les champs suivants :

    Webhook MongoDB Realm URL

    Spécifiez URL le HTTP point de terminaison au format suivant.

    https://webhooks.mongodb-realm.com

    URLIl doit s'agir d'un HTTPSURL.

    Authentification

    Vous pouvez choisir de saisir directement la API clé ou de récupérer le secret AWS Secrets Manager pour accéder à MongoDB Cloud.

    • APIclé

      Contactez MongoDB Cloud pour obtenir la API clé dont vous avez besoin pour activer la livraison de données à ce point de terminaison depuis Firehose.

    • Secret

      Sélectionnez un secret parmi ceux AWS Secrets Manager qui contiennent la API clé de MongoDB Cloud. Si vous ne voyez pas votre secret dans la liste déroulante, créez-en un dans AWS Secrets Manager. Pour de plus amples informations, veuillez consulter Authentifiez-vous AWS Secrets Manager dans Amazon Data Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIPou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données au fournisseur tiers sélectionné.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du terminal. HTTP Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au HTTP terminal (soit lors de la tentative initiale, soit lors d'une nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison. HTTP

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel. HTTP Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

Configurer les paramètres de destination pour New Relic

Cette section décrit les options dont vous disposez pour utiliser New Relic comme destination. Pour de plus amples informations, veuillez consulter https://newrelic.com.

  • Fournissez des valeurs pour les champs suivants :

    HTTPpoint final URL

    Choisissez le HTTP point URL de terminaison parmi les options suivantes dans la liste déroulante.

    • Journaux New Relic – US

    • Métriques New Relic – US

    • Métriques New Relic – EU

    Authentification

    Vous pouvez choisir de saisir la API clé directement ou de récupérer le secret AWS Secrets Manager pour accéder à New Relic.

    • APIclé

      Entrez votre clé de licence, qui est une chaîne hexadécimale de 40 caractères, dans les paramètres de votre compte New Relic One. Vous avez besoin de cette API clé pour permettre la livraison de données à ce point de terminaison depuis Firehose.

    • Secret

      Sélectionnez un secret AWS Secrets Manager qui contient la API clé de New Relic. Si vous ne voyez pas votre secret dans la liste déroulante, créez-en un dans AWS Secrets Manager. Pour de plus amples informations, veuillez consulter Authentifiez-vous AWS Secrets Manager dans Amazon Data Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIPou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données au point de terminaison New Relic. HTTP

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du terminal. HTTP Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au HTTP terminal (soit lors de la tentative initiale, soit lors d'une nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison. HTTP

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel. HTTP Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Configurer les paramètres de destination pour Snowflake

Cette section décrit les options d'utilisation de Snowflake pour votre destination.

Note

L'intégration de Firehose à Snowflake est disponible dans l'est des États-Unis (Virginie du Nord), l'ouest des États-Unis (Oregon), l'Europe (Irlande), l'est des États-Unis (Ohio), l'Asie-Pacifique (Tokyo), l'Europe (Francfort), l'Asie-Pacifique (Singapour), l'Asie-Pacifique (Séoul), l'Asie-Pacifique (Mumbai), l'Europe (Londres), l'Amérique du Sud (Sao Paulo), le Canada (centre), Europe (Paris), Asie-Pacifique (Osaka), Europe (Stockholm), Asie-Pacifique (Jakarta). Régions AWS

Réglages de connexion
  • Fournissez des valeurs pour les champs suivants :

    Compte Snowflake URL

    Spécifiez un compte Snowflake. URL olpPar exemple : xy12345.us-east-1.aws.snowflakecomputing.com. Reportez-vous à la documentation de Snowflake pour savoir comment déterminer votre compte. URL Notez que vous ne devez pas spécifier le numéro de port, alors que le protocole (https ://) est facultatif.

    Authentification

    Vous pouvez choisir de saisir le nom d'utilisateur, la clé privée et le mot de passe manuellement ou de récupérer le code secret pour accéder à AWS Secrets Manager Snowflake.

    • Login utilisateur

      Spécifiez l'utilisateur Snowflake à utiliser pour le chargement des données. Assurez-vous que l'utilisateur a accès pour insérer des données dans la table Snowflake.

    • Clé privée

      Spécifiez la clé privée pour l'authentification avec Snowflake au PKCS8 format. En outre, n'incluez pas PEM d'en-tête et de pied de page dans la clé privée. Si la clé est divisée sur plusieurs lignes, supprimez les sauts de ligne. Voici un exemple de ce à quoi doit ressembler votre clé privée.

      -----BEGIN PRIVATE KEY----- KEY_CONTENT -----END PRIVATE KEY-----

      Supprimez l'espace KEY_CONTENT et fournissez-le à Firehose. Aucun caractère d'en-tête/pied de page ou de nouvelle ligne n'est requis.

    • Passphrase (Phrase secrète)

      Spécifiez le mot de passe pour déchiffrer la clé privée cryptée. Vous pouvez laisser ce champ vide si la clé privée n'est pas cryptée. Pour plus d'informations, consultez la section Utilisation de l'authentification par paire de clés et de la rotation des clés.

    • Secret

      Sélectionnez un secret AWS Secrets Manager contenant les informations d'identification de Snowflake. Si vous ne voyez pas votre secret dans la liste déroulante, créez-en un dans AWS Secrets Manager. Pour de plus amples informations, veuillez consulter Authentifiez-vous AWS Secrets Manager dans Amazon Data Firehose.

    Configuration des rôles

    Utiliser le rôle Snowflake par défaut — Si cette option est sélectionnée, Firehose ne transmettra aucun rôle à Snowflake. Le rôle par défaut est supposé charger les données. Assurez-vous que le rôle par défaut est autorisé à insérer des données dans la table Snowflake.

    Utiliser un rôle Snowflake personnalisé — Entrez un rôle Snowflake autre que celui par défaut à assumer par Firehose lors du chargement de données dans la table Snowflake.

    Connectivité Snowflake

    Les options sont privées ou publiques.

    VPCEIdentifiant privé (facultatif)

    L'VPCEidentifiant permettant à Firehose de se connecter en privé à Snowflake. Le format de l'identifiant est com.amazonaws.vpce. [région] .vpce-svc-. [id] Pour plus d'informations, voir AWS PrivateLink & Snowflake.

    Note

    Si votre cluster Snowflake est activé par les liens privés, utilisez une politique réseau AwsVpceIds basée pour autoriser les données Amazon Data Firehose. Firehose ne vous oblige pas à configurer une politique réseau basée sur l'IP dans votre compte Snowflake. L'activation d'une politique réseau basée sur l'IP peut interférer avec la connectivité Firehose. Si vous avez un cas particulier qui nécessite une politique basée sur l'IP, contactez l'équipe Firehose en soumettant un ticket d'assistance. Pour obtenir la liste des VPCE IDs produits que vous pouvez utiliser, reportez-vous auAccès à Snowflake dans VPC.

Configuration de base de données
  • Vous devez spécifier les paramètres suivants afin d'utiliser Snowflake comme destination pour votre stream Firehose.

    • Base de données Snowflake — Toutes les données de Snowflake sont conservées dans des bases de données.

    • Schéma Snowflake : chaque base de données comprend un ou plusieurs schémas, qui sont des regroupements logiques d'objets de base de données, tels que des tables et des vues

    • Table Snowflake — Toutes les données de Snowflake sont stockées dans des tables de base de données, structurées logiquement sous forme de collections de colonnes et de lignes.

Options de chargement des données pour votre table Snowflake

  • Utiliser JSON les clés comme noms de colonnes

  • Utiliser des VARIANT colonnes

    • Nom de la colonne de contenu — Spécifiez un nom de colonne dans le tableau où les données brutes doivent être chargées.

    • Nom de colonne de métadonnées (facultatif) — Spécifiez un nom de colonne dans le tableau où les informations de métadonnées doivent être chargées. Lorsque vous activez ce champ, vous verrez la colonne suivante dans le tableau Snowflake en fonction du type de source.

      Pour Direct PUT en tant que source

      { "firehoseDeliveryStreamName" : "streamname", "IngestionTime" : "timestamp" }

      Pour Kinesis Data Stream en tant que source

      { "kinesisStreamName" : "streamname", "kinesisShardId" : "Id", "kinesisPartitionKey" : "key", "kinesisSequenceNumber" : "1234", "subsequenceNumber" : "2334", "IngestionTime" : "timestamp" }

Retry duration (Durée de la nouvelle tentative)

Durée (0 à 7 200 secondes) nécessaire à Firehose pour réessayer en cas d'échec de l'ouverture du canal ou de la livraison à Snowflake en raison de problèmes de service Snowflake. Firehose réessaie avec un recul exponentiel jusqu'à la fin de la durée de la nouvelle tentative. Si vous définissez la durée de la nouvelle tentative sur 0 (zéro) seconde, Firehose ne réessaie pas en cas d'échec de Snowflake et achemine les données vers le compartiment d'erreur Amazon S3.

Conseils sur la mémoire tampon

Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre. Pour de plus amples informations, veuillez consulter Configurer les conseils de mise en mémoire tampon.

Configurer les paramètres de destination pour Splunk

Cette section décrit les options permettant d'utiliser Splunk comme destination.

Note

Firehose fournit des données aux clusters Splunk configurés avec un Classic Load Balancer ou un Application Load Balancer.

  • Fournissez des valeurs pour les champs suivants :

    Splunk cluster endpoint (Point de terminaison de cluster Splunk)

    Pour déterminer le point de terminaison, consultez la section Configurer Amazon Data Firehose pour envoyer des données à la plateforme Splunk dans la documentation Splunk.

    Splunk endpoint type (Type de point de terminaison Splunk)

    Choisissez Raw endpoint dans la plupart des cas. Choisissez Event endpoint si vous avez prétraité vos données en utilisant AWS Lambda pour envoyer des données à différents index par type d'événement. Pour plus d'informations sur le point de terminaison à utiliser, consultez la section Configurer Amazon Data Firehose pour envoyer des données à la plateforme Splunk dans la documentation Splunk.

    Authentification

    Vous pouvez choisir de saisir directement le jeton d'authentification ou de récupérer le secret AWS Secrets Manager pour accéder à Splunk.

    HECdélai d'expiration de l'accusé de réception

    Spécifiez la durée pendant laquelle Amazon Data Firehose attend l'accusé de réception de l'index par Splunk. Si Splunk n'envoie pas d'accusé de réception avant l'expiration du délai imparti, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données. Amazon Data Firehose réessaie ensuite ou sauvegarde les données dans votre compartiment Amazon S3, en fonction de la valeur de durée des tentatives que vous avez définie.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données à Splunk.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de Splunk. Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données à Splunk (tentative initiale ou nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de Splunk.

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie en fonction du fournisseur de services.

Configurer les paramètres de destination pour Splunk Observability Cloud

Cette section décrit les options dont vous disposez pour utiliser Splunk Observability Cloud comme destination. Pour plus d'informations, consultez https://docs.splunk.com/observability/en/gdi/get-data-in/connect/aws/aws-apiconfig.html# - connect-to-aws-using -api. the-splunk-observability-cloud

  • Fournissez des valeurs pour les champs suivants :

    Point de terminaison Cloud Ingest URL

    Vous pouvez trouver l'ingestion de données en temps réel de votre Splunk Observability Cloud URL dans Profil > Organizations > Point de terminaison d'ingestion de données en temps réel dans la console Splunk Observability.

    Authentification

    Vous pouvez choisir de saisir directement le jeton d'accès ou de récupérer le secret AWS Secrets Manager pour accéder à Splunk Observability Cloud.

    • Jeton d'accès

      Copiez votre jeton d'accès Splunk Observability avec le champ INGEST d'autorisation depuis Jetons d'accès sous Paramètres de la console Splunk Observability.

    • Secret

      Sélectionnez un code secret AWS Secrets Manager contenant le jeton d'accès à Splunk Observability Cloud. Si vous ne voyez pas votre secret dans la liste déroulante, créez-en un dans AWS Secrets Manager. Pour de plus amples informations, veuillez consulter Authentifiez-vous AWS Secrets Manager dans Amazon Data Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIPou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données au point de terminaison sélectionné. HTTP

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du terminal. HTTP Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au HTTP terminal (soit lors de la tentative initiale, soit lors d'une nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison. HTTP

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel. HTTP Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Configuration des paramètres de destination pour Sumo Logic

Cette section décrit les options dont vous disposez pour utiliser Sumo Logic comme destination. Pour de plus amples informations, veuillez consulter https://www.sumologic.com.

  • Fournissez des valeurs pour les champs suivants :

    HTTPpoint final URL

    Spécifiez URL le HTTP point de terminaison au format suivant :https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token. URLIl doit s'agir d'un HTTPSURL.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIPou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données à Sumo Logic.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du terminal. HTTP Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au HTTP terminal (soit lors de la tentative initiale, soit lors d'une nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison. HTTP

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel. HTTP Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination Elastic varie d'un fournisseur de services à l'autre.

Configuration des paramètres de destination pour Elastic

Cette section décrit les options dont vous disposez pour utiliser Elastic comme destination.

  • Fournissez des valeurs pour les champs suivants :

    Point de terminaison élastique URL

    Spécifiez URL le HTTP point de terminaison au format suivant :https://<cluster-id>.es.<region>.aws.elastic-cloud.com. URLIl doit s'agir d'un HTTPSURL.

    Authentification

    Vous pouvez choisir de saisir directement la API clé ou de récupérer le code secret AWS Secrets Manager pour accéder à Elastic.

    • APIclé

      Contactez Elastic pour obtenir la API clé dont vous avez besoin pour permettre à Firehose de fournir des données à leur service.

    • Secret

      Sélectionnez un code secret AWS Secrets Manager contenant la API clé d'Elastic. Si vous ne voyez pas votre secret dans la liste déroulante, créez-en un dans AWS Secrets Manager. Pour de plus amples informations, veuillez consulter Authentifiez-vous AWS Secrets Manager dans Amazon Data Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIP(c'est ce qui est sélectionné par défaut) ou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données à Elastic.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du terminal. HTTP Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au HTTP terminal (soit lors de la tentative initiale, soit lors d'une nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison. HTTP

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel. HTTP Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille recommandée de la mémoire tampon pour la destination Elastic est de 1 Mio.