設定目的地設定 - Amazon Data Firehose

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

設定目的地設定

本節說明您必須根據所選目的地為 Firehose 串流設定的設定。

設定 Amazon S3 的目的地設定

您必須指定下列設定,才能使用 Amazon S3 做為 Firehose 串流的目的地。

  • 請輸入下列欄位的值。

    S3 bucket (S3 儲存貯體)

    選擇要交付串流資料您所擁有的 S3 儲存貯體。您可以建立新的 S3 儲存貯體或選擇現有的。

    新行分隔符

    您可以設定 Firehose 串流,在交付至 Amazon S3 的物件中的記錄之間新增行分隔符號。若要這麼做,請選擇已啟用。若要不在交付至 Amazon S3 的物件中的記錄之間新增行分隔符號,請選擇停用。如果您計劃使用 Athena 查詢具有彙總記錄的 S3 物件,請啟用此選項。

    動態分割

    選擇已啟用以啟用並設定動態分割。

    多筆記錄取消彙總

    這是剖析 Firehose 串流中記錄的程序,並根據有效JSON或指定的新行分隔符號來分隔它們。

    如果您將多個事件、日誌或記錄彙總為單一 PutRecord 和 PutRecordBatch API 呼叫,您仍然可以啟用和設定動態分割。使用彙總資料時,當您啟用動態分割時,Amazon Data Firehose 會剖析記錄,並在每個API呼叫中尋找多個有效的JSON物件。當 Firehose 串流設定為 Kinesis Data Stream 做為來源時,您也可以在 Kinesis Producer Library () 中使用內建彙總KPL。資料分割功能在資料取消彙整後執行。因此,每個API呼叫中的每個記錄都可以傳遞到不同的 Amazon S3 字首。您也可以利用 Lambda 函數整合,在資料分割功能之前執行任何其他去彙總或任何其他轉換。

    重要

    如果您的資料已彙整,則只有在執行資料取消彙整之後才能套用動態分割。因此,如果您對彙整資料啟用動態分割,則必須選擇已啟用以啟用多記錄取消彙整。

    Firehose 串流會依下列順序執行下列處理步驟:KPL(protobuf) 取消彙總,JSON或分隔符號取消彙總、Lambda 處理、資料分割、資料格式轉換和 Amazon S3 交付。

    多筆記錄取消彙總類型

    如果您啟用了多筆記錄取消彙總,則必須指定 Firehose 將資料取消彙總的方法。使用下拉式功能表選擇 JSON或分隔。

    內嵌剖析

    這是其中一種支援的機制,可動態分割繫結到 Amazon S3 的資料。若要使用內嵌剖析來動態分割資料,您必須指定要用作分割索引鍵的資料記錄參數,並為每個指定的分割索引鍵提供一個值。選擇已啟用以啟用並設定內嵌剖析。

    重要

    如果您在上述步驟中指定了 AWS Lambda 函數來轉換來源記錄,您可以使用此函數動態分割與 S3 繫結的資料,而且仍然可以使用內嵌剖析建立分割金鑰。透過動態分割,您可以使用內嵌剖析或 AWS Lambda 函數來建立分割金鑰。或者,您可以同時使用內嵌剖析和 AWS Lambda 函數來建立分割金鑰。

    動態分割索引鍵

    您可以使用索引鍵欄位來指定要用作動態分割索引鍵的資料記錄參數,以及用來產生動態分割索引鍵值的 jq 查詢。Firehose 僅支援 jq 1.6。您可以指定最多 50 個動態分割索引鍵。您必須輸入動態分割索引鍵值的有效 jq 表達式,才能成功設定 Firehose 串流的動態分割。

    S3 儲存貯體的字首

    當您啟用和設定動態分割時,您必須指定 Amazon Data Firehose 要交付分割資料的 S3 儲存貯體字首。

    為了正確設定動態分割,S3 儲存貯體字首的數目必須與指定的分割索引鍵數目相同。

    您可以使用內嵌剖析或指定的 AWS Lambda 函數來分割來源資料。如果您指定 AWS Lambda 函數來建立來源資料的分割金鑰,則必須使用下列格式手動輸入 S3 儲存貯體字首值:"partitionKeyFromLambda:keyID")。如果您使用內嵌剖析來指定來源資料的分割金鑰,您可以使用下列格式手動輸入 S3 儲存貯體預覽值:"partitionKeyFromQuery:keyID",也可以選擇套用動態分割金鑰按鈕,使用您的動態分割金鑰/值對自動產生 S3 儲存貯體字首。使用內嵌剖析或 AWS Lambda 分割資料時,您也可以在 S3 儲存貯體字首中使用下列表達式表單:!{namespace:value},其中命名空間可以是 partitionKeyFromQuery 或 partitionKeyFromLambda。

    S3 儲存貯體和 S3 錯誤輸出字首時區

    Amazon S3 物件的自訂字首中,選擇您要用於日期和時間的時區。根據預設,Firehose 會在 中新增時間字首UTC。如果您想要使用不同的時區,可以變更 S3 字首中使用的時區。

    緩衝提示

    Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

    S3 壓縮

    選擇 GZIP、Snappy、Zip 或 Hadoop 相容 Snappy 資料壓縮,或無資料壓縮。Snappy、Zip 和 Hadoop 相容 Snappy 壓縮不適用於 Amazon Redshift 做為目的地的 Firehose 串流。

    S3 副檔名格式 (選用)

    為交付至 Amazon S3 目的地儲存貯體的物件指定副檔名格式。如果您啟用此功能,指定的副檔名會覆寫資料格式轉換或 S3 壓縮功能附加的預設副檔名,例如 .parquet 或 .gz。當您使用此功能搭配資料格式轉換或 S3 壓縮時,請確定是否已設定正確的副檔名。副檔名必須以句號 (.) 開頭,且可包含允許的字元:0-9a-z!-_.*‘()。副檔名不得超過 128 個字元。

    S3 加密

    Firehose 支援使用 AWS Key Management Service (SSE-KMS) 的 Amazon S3 伺服器端加密,用於加密 Amazon S3 中的交付資料。您可以選擇使用目的地 S3 儲存貯體中指定的預設加密類型,或使用您擁有的金鑰清單中的 AWS KMS 金鑰進行加密。如果您使用 AWS KMS 金鑰加密資料,您可以使用預設 AWS 受管金鑰 (aws/s3) 或客戶受管金鑰。如需詳細資訊,請參閱使用伺服器端加密搭配受管金鑰保護資料 AWS KMS(SSE-KMS)

設定 Apache Iceberg 資料表的目的地設定

Firehose 支援 Apache Iceberg Tables 做為所有 的目的地 AWS GovCloud (US) Regions,但中國區域和亞太區域 (馬來西亞) AWS 區域除外。

如需 Apache Iceberg 資料表做為目的地的詳細資訊,請參閱 使用 Amazon Data Firehose 將資料交付至 Apache Iceberg 資料表

設定 Amazon Redshift 的目的地設定

本節說明使用 Amazon Redshift 做為 Firehose 串流目的地的設定。

根據您是擁有 Amazon Redshift 佈建的叢集,還是 Amazon Redshift Serverless 工作群組,選擇下列其中一個程序。

Amazon Redshift 佈建叢集

本節說明使用 Amazon Redshift 佈建叢集做為 Firehose 串流目的地的設定。

  • 為下列欄位輸入值:

    叢集

    要放入複製的 S3 儲存貯體的 Amazon Redshift 叢集。將 Amazon Redshift 叢集設定為可公開存取,並解除封鎖 Amazon Data Firehose IP 地址。如需詳細資訊,請參閱授予 Firehose 對 Amazon Redshift 目的地的存取權

    身分驗證

    您可以選擇直接輸入使用者名稱/密碼,或從 擷取秘密 AWS Secrets Manager 以存取 Amazon Redshift 叢集。

    • 使用者名稱

      指定具有存取 Amazon Redshift 叢集許可的 Amazon Redshift 使用者。該使用者必須具備 Amazon Redshift INSERT 許可,才能夠將 S3 儲存貯體中的資料複製到 Amazon Redshift 叢集。

    • 密碼

      為具有存取叢集許可的使用者指定密碼。

    • Secret

      從中選取包含 AWS Secrets Manager Amazon Redshift 叢集登入資料的秘密。如果您在下拉式清單中看不到秘密,請在 中 AWS Secrets Manager 為您的 Amazon Redshift 登入資料建立一個秘密。如需詳細資訊,請參閱在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證

    資料庫

    要放入複製資料的 Amazon Redshift 資料庫。

    資料表

    要放入複製資料的 Amazon Redshift 資料表。

    資料欄

    (選用) 要放入複製資料的表格特定資料欄。如果您的 Amazon S3 物件中定義的資料欄數量少於 Amazon Redshift 資料表中的欄位數量,請使用此選項。

    中繼 S3 目的地

    Firehose 會先將資料交付至 S3 儲存貯體,然後發出 Amazon Redshift COPY命令,將資料載入您的 Amazon Redshift 叢集。指定要交付串流資料您所擁有的 S3 儲存貯體。建立新的 S3 儲存貯體,或是選擇您目前擁有的儲存貯體。

    Firehose 不會在將資料載入至 Amazon Redshift 叢集後,從 S3 儲存貯體刪除資料。您可以使用生命週期配置管理 S3 儲存貯體中的資料。如需詳細資訊,請參閱《Amazon Simple Storage Service 使用者指南》中的物件生命週期管理

    中繼 S3 字首

    (選用) 要使用 Amazon S3 物件的預設字首,請將此選項保留空白。Firehose 會自動使用 "YYYY/MM/dd/HH" UTC時間格式的字首來傳遞 Amazon S3 物件。您可以新增到此字首前方。如需詳細資訊,請參閱設定 Amazon S3 物件名稱格式

    COPY 選項

    此處指的是可以在 Amazon Redshift COPY 命令中指定的參數。您可以根據自己的組態來指定這些參數。例如,如果啟用 Amazon S3 資料壓縮,則需要 "GZIP"。如果您的 S3 儲存貯體不在與 Amazon Redshift 叢集相同的 AWS 區域中,則需要 "REGION"。如需詳細資訊,請參閱《Amazon Redshift 資料庫開發人員指南》中的 COPY

    COPY 命令

    Amazon Redshift COPY 命令。如需詳細資訊,請參閱《Amazon Redshift 資料庫開發人員指南》中的 COPY

    Retry duration (重試持續時間)

    如果 COPY Amazon Redshift 叢集的資料失敗,Firehose 會重試的持續時間 (0–7200 秒)。Firehose 每 5 分鐘重試一次,直到重試持續時間結束為止。如果您將重試持續時間設定為 0 (零) 秒,Firehose 不會在COPY命令失敗時重試。

    緩衝提示

    Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

    S3 壓縮

    選擇 GZIP、Snappy、Zip 或 Hadoop 相容 Snappy 資料壓縮,或無資料壓縮。Snappy、Zip 和 Hadoop 相容 Snappy 壓縮不適用於 Amazon Redshift 做為目的地的 Firehose 串流。

    S3 副檔名格式 (選用)

    S3 副檔名格式 (選用) – 為交付至 Amazon S3 目的地儲存貯體的物件指定副檔名格式。如果您啟用此功能,指定的副檔名會覆寫資料格式轉換或 S3 壓縮功能附加的預設副檔名,例如 .parquet 或 .gz。當您使用此功能搭配資料格式轉換或 S3 壓縮時,請確定是否已設定正確的副檔名。副檔名必須以句號 (.) 開頭,且可包含允許的字元:0-9a-z!-_.*‘()。副檔名不得超過 128 個字元。

    S3 加密

    Firehose 支援使用 AWS Key Management Service (SSE-KMS) 的 Amazon S3 伺服器端加密,用於加密 Amazon S3 中的交付資料。您可以選擇使用目的地 S3 儲存貯體中指定的預設加密類型,或使用您擁有的金鑰清單中的 AWS KMS 金鑰進行加密。如果您使用 AWS KMS 金鑰加密資料,您可以使用預設 AWS 受管金鑰 (aws/s3) 或客戶受管金鑰。如需詳細資訊,請參閱使用伺服器端加密搭配受管金鑰保護資料 AWS KMS(SSE-KMS)

設定 Amazon Redshift Serverless 工作群組的目的地設定

本節說明使用 Amazon Redshift Serverless 工作群組做為 Firehose 串流目的地的設定。

  • 為下列欄位輸入值:

    Workgroup name (工作群組名稱)

    要將 S3 儲存貯體資料複製到的 Amazon Redshift Serverless 工作群組。將 Amazon Redshift Serverless 工作群組設定為可公開存取,並解除封鎖 Firehose IP 地址。如需詳細資訊,請參閱連線至 Amazon Redshift Serverless 中「連線至可公開存取的 Amazon Redshift Serverless 執行個體」一節以及 授予 Firehose 對 Amazon Redshift 目的地的存取權

    身分驗證

    您可以選擇直接輸入使用者名稱/密碼,或從 擷取秘密 AWS Secrets Manager ,以存取 Amazon Redshift Serverless 工作群組。

    • 使用者名稱

      指定具有存取 Amazon Redshift Serverless 工作群組許可的 Amazon Redshift 使用者。該使用者必須具備 Amazon Redshift INSERT 許可,才可以將 S3 儲存貯體中的資料複製至 Amazon Redshift Serverless 工作群組。

    • 密碼

      為具有存取 Amazon Redshift Serverless 工作群組許可的使用者指定密碼。

    • Secret

      從 中選取包含 AWS Secrets Manager Amazon Redshift Serverless 工作群組登入資料的秘密。如果您在下拉式清單中看不到秘密,請在 中 AWS Secrets Manager 為您的 Amazon Redshift 登入資料建立一個秘密。如需詳細資訊,請參閱在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證

    資料庫

    要放入複製資料的 Amazon Redshift 資料庫。

    資料表

    要放入複製資料的 Amazon Redshift 資料表。

    資料欄

    (選用) 要放入複製資料的表格特定資料欄。如果您的 Amazon S3 物件中定義的資料欄數量少於 Amazon Redshift 資料表中的欄位數量,請使用此選項。

    中繼 S3 目的地

    Amazon Data Firehose 會先將資料交付至 S3 儲存貯體,然後發出 Amazon Redshift COPY命令,將資料載入您的 Amazon Redshift Serverless 工作群組。指定要交付串流資料您所擁有的 S3 儲存貯體。建立新的 S3 儲存貯體,或是選擇您目前擁有的儲存貯體。

    Firehose 不會在將資料載入至 Amazon Redshift Serverless 工作群組後,從 S3 儲存貯體刪除資料。您可以使用生命週期配置管理 S3 儲存貯體中的資料。如需詳細資訊,請參閱《Amazon Simple Storage Service 使用者指南》中的物件生命週期管理

    中繼 S3 字首

    (選用) 要使用 Amazon S3 物件的預設字首,請將此選項保留空白。Firehose 會自動使用 "YYYY/MM/dd/HH" UTC時間格式的字首來傳遞 Amazon S3 物件。您可以新增到此字首前方。如需詳細資訊,請參閱設定 Amazon S3 物件名稱格式

    COPY 選項

    此處指的是可以在 Amazon Redshift COPY 命令中指定的參數。您可以根據自己的組態來指定這些參數。例如,如果啟用 Amazon S3 資料壓縮,則需要 "GZIP"。如果您的 S3 儲存貯體不在與 Amazon Redshift Serverless 工作群組相同的 AWS 區域中,則需要 "REGION"。如需詳細資訊,請參閱《Amazon Redshift 資料庫開發人員指南》中的 COPY

    COPY 命令

    Amazon Redshift COPY 命令。如需詳細資訊,請參閱《Amazon Redshift 資料庫開發人員指南》中的 COPY

    Retry duration (重試持續時間)

    如果 COPY Amazon Redshift Serverless 工作群組的資料失敗,Firehose 重試的持續時間 (0–7200 秒)。Firehose 每 5 分鐘重試一次,直到重試持續時間結束為止。如果您將重試持續時間設定為 0 (零) 秒,Firehose 不會在COPY命令失敗時重試。

    緩衝提示

    Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

    S3 壓縮

    選擇 GZIP、Snappy、Zip 或 Hadoop 相容的 Snappy 資料壓縮,或沒有資料壓縮。Snappy、Zip 和 Hadoop 相容 Snappy 壓縮不適用於 Amazon Redshift 做為目的地的 Firehose 串流。

    S3 副檔名格式 (選用)

    S3 副檔名格式 (選用) – 為交付至 Amazon S3 目的地儲存貯體的物件指定副檔名格式。如果您啟用此功能,指定的副檔名會覆寫資料格式轉換或 S3 壓縮功能附加的預設副檔名,例如 .parquet 或 .gz。當您使用此功能搭配資料格式轉換或 S3 壓縮時,請確定是否已設定正確的副檔名。副檔名必須以句號 (.) 開頭,且可包含允許的字元:0-9a-z!-_.*‘()。副檔名不得超過 128 個字元。

    S3 加密

    Firehose 支援使用 AWS Key Management Service (SSE-KMS) 的 Amazon S3 伺服器端加密,用於加密 Amazon S3 中的交付資料。您可以選擇使用目的地 S3 儲存貯體中指定的預設加密類型,或使用您擁有的金鑰清單中的 AWS KMS 金鑰進行加密。如果您使用 AWS KMS 金鑰加密資料,您可以使用預設 AWS 受管金鑰 (aws/s3) 或客戶受管金鑰。如需詳細資訊,請參閱使用受管金鑰的伺服器端加密保護資料 AWS KMS(SSE-KMS)

設定 OpenSearch Service 的目的地設定

本節說明為您的目的地使用 OpenSearch Service 的選項。

  • 為下列欄位輸入值:

    OpenSearch 服務網域

    資料交付至的服務 OpenSearch 網域。

    索引

    將資料編製索引至 OpenSearch 服務叢集時要使用 OpenSearch 的服務索引名稱。

    Index rotation (索引輪換)

    選擇是否應該輪換 OpenSearch 服務索引以及輪換頻率。如果啟用索引輪換,Amazon Data Firehose 會將對應的時間戳記附加至指定的索引名稱並輪換。如需詳細資訊,請參閱設定 OpenSearch Service 的索引輪換

    類型

    將資料編製索引至 OpenSearch 服務叢集時要使用 OpenSearch 的服務類型名稱。對於 Elasticsearch 7.x 和 OpenSearch 1.x,每個索引只能有一個類型。如果您嘗試為已有其他類型的現有索引指定新類型,Firehose 會在執行時間傳回錯誤。

    針對 Elasticsearch 7.x,將此欄位保留空白。

    Retry duration (重試持續時間)

    如果索引請求 OpenSearch 失敗,Firehose 重試的持續時間。對於重試持續時間,您可以將任何值設定為 0-7200 秒。預設重試持續時間為 300 秒。Firehose 將重試多次,並呈指數關閉,直到重試持續時間過期。

    重試持續時間過期後,Firehose 會將資料交付至已設定的 S3 錯誤儲存貯體 Dead Letter Queue (DLQ)。對於交付至 的資料DLQ,您必須將資料從設定的 S3 錯誤儲存貯體重新驅動回 OpenSearch 目的地。

    如果您想要封鎖 Firehose 串流DLQ,因為 OpenSearch 叢集停機或維護而無法將資料交付至 ,您可以將重試持續時間設定為較高的值,以秒為單位。您可以透過聯絡 AWS 支援,將超過 7200 秒的重試持續時間值增加到 。

    DocumentID 類型

    表示設定文件 ID 的方法。支援的方法為 Firehose 產生的文件 ID 和 OpenSearch Service 產生的文件 ID。未設定文件 ID 值時,Firehose 產生的文件 ID 是預設選項。 OpenSearch 建議選擇服務產生的文件 ID,因為它支援大量寫入操作,包括日誌分析和可觀測性,在 OpenSearch 服務網域消耗CPU的資源較少,因此可改善效能。

    目的地VPC連線

    如果您的 OpenSearch 服務網域位於私有 中VPC,請使用本節指定該 VPC。另請指定您希望 Amazon Data Firehose 在將資料傳送到您的 OpenSearch 服務網域時要使用的子網路和子群組。您可以使用 OpenSearch 與服務網域正在使用的相同安全群組。如果您指定不同的安全群組,請確保它們允許傳出HTTPS流量到 OpenSearch 服務網域的安全群組。此外,請確定 OpenSearch 服務網域的安全群組允許來自您在設定 Firehose 串流時所指定安全群組的HTTPS流量。如果您同時針對 Firehose 串流和服務 OpenSearch 網域使用相同的安全群組,請確定安全群組的傳入規則允許HTTPS流量。如需安全群組規則的詳細資訊,請參閱 Amazon VPC 文件中的安全群組規則

    重要

    當您指定子網路以將資料交付至私有 中的目的地時VPC,請確定您選擇的子網路中有足夠的可用 IP 地址。如果指定的子網路中沒有可用的可用 IP 地址,Firehose 就無法ENIs為私有 中的資料交付建立或新增 VPC,而且交付將會降級或失敗。

    緩衝提示

    Amazon Data Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

設定無 OpenSearch 伺服器的目標設定

本節說明將 OpenSearch Serverless 用於目的地的選項。

  • 為下列欄位輸入值:

    OpenSearch 無伺服器集合

    資料交付目的地的無 OpenSearch 伺服器索引群組端點。

    索引

    將資料編製索引至 OpenSearch Serverless 集合時要使用的 OpenSearch Serverless 索引名稱。

    目的地VPC連線

    如果您的 OpenSearch Serverless 集合位於私有 中VPC,請使用本節指定該 VPC。另請指定您希望 Amazon Data Firehose 在將資料傳送到無 OpenSearch 伺服器集合時要使用的子網路和子群組。

    重要

    當您指定子網路以將資料交付至私有 中的目的地時VPC,請確定您選擇的子網路中有足夠的可用 IP 地址。如果指定的子網路中沒有可用的可用 IP 地址,Firehose 就無法ENIs為私有 中的資料交付建立或新增 VPC,而且交付將會降級或失敗。

    Retry duration (重試持續時間)

    如果對 OpenSearch Serverless 的索引請求失敗,Firehose 重試的持續時間。對於重試持續時間,您可以將任何值設定為 0-7200 秒。預設重試持續時間為 300 秒。Firehose 將重試多次,並呈指數關閉,直到重試持續時間過期。

    重試持續時間過期後,Firehose 會將資料交付至已設定的 S3 錯誤儲存貯體 Dead Letter Queue (DLQ)。對於交付至 的資料DLQ,您必須將資料從設定的 S3 錯誤儲存貯體重新驅動回無 OpenSearch 伺服器目的地。

    如果您想要封鎖 Firehose 串流DLQ,因為無 OpenSearch 伺服器叢集的停機時間或維護而無法將資料交付至 ,您可以將重試持續時間設定為較高的值,以秒為單位。您可以透過聯絡 AWS 支援,將超過 7200 秒的重試持續時間值增加到 。

    緩衝提示

    Amazon Data Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

設定HTTP端點的目的地設定

本節說明針對目的地使用HTTP端點的選項。

重要

如果您選擇HTTP端點做為目的地,請檢閱並遵循 中的指示瞭解HTTP端點交付要求和回應規格

  • 為下列欄位提供值:

    HTTP 端點名稱 - 選用

    指定HTTP端點的易用名稱。例如:My HTTP Endpoint Destination

    HTTP 端點 URL

    以下列格式指定HTTP端點URL的 :https://xyz.httpendpoint.com。URL 必須是 HTTPS URL。

    身分驗證

    您可以選擇直接輸入存取金鑰,或從 擷取秘密 AWS Secrets Manager 以存取HTTP端點。

    • (選用) 存取金鑰

      如果您需要取得存取金鑰,以便從 Firehose 將資料交付至其端點,請聯絡端點擁有者。

    • Secret

      從 中選取 AWS Secrets Manager 包含HTTP端點存取金鑰的秘密。如果您在下拉式清單中看不到秘密,請在 中 AWS Secrets Manager 為存取金鑰建立一個秘密。如需詳細資訊,請參閱在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證

    內容編碼

    Amazon Data Firehose 使用內容編碼來壓縮請求的內文,然後再將其傳送至目的地。選擇GZIP停用以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon Data Firehose 重試傳送資料到所選HTTP端點的時間長度。

    傳送資料後,Amazon Data Firehose 會先等待來自HTTP端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,Amazon Data Firehose 會將其視為資料交付失敗,並將資料備份到您的 Amazon S3 儲存貯體。

    每次 Amazon Data Firehose 傳送資料到HTTP端點 (初始嘗試或重試) 時,都會重新啟動確認逾時計數器,並等待HTTP端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或達到確認逾時期間為止。如果確認逾時,Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon Data Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon Data Firehose 會在每個HTTP呼叫中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon Data Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

    重要

    對於HTTP端點目的地,如果您在 CloudWatch 日誌中看到目的地端點的 413 個回應代碼,請降低 Firehose 串流上的緩衝提示大小,然後再試一次。

設定 Datadog 的目的地設定

本節說明使用 Datadog 作為目的地的選項。如需 Datadog 的詳細資訊,請參閱 https://docs.datadoghq.com/integrations/amazon_web_services/

  • 提供下列欄位的值。

    HTTP 端點 URL

    在下拉式功能表中選擇您要從下列其中一個選項傳送資料的位置。

    • Datadog 日誌 - US1

    • Datadog 日誌 - US3

    • Datadog 日誌 - US5

    • Datadog 日誌 - AP1

    • Datadog 日誌 - EU

    • Datadog 日誌 - GOV

    • Datadog 指標 - US

    • Datadog 指標 - US5

    • Datadog 指標 - AP1

    • Datadog 指標 - EU

    • Datadog 組態 - US1

    • Datadog 組態 - US3

    • Datadog 組態 - US5

    • Datadog 組態 - AP1

    • Datadog 組態 - 歐洲

    • Datadog 組態 - 美國 GOV

    身分驗證

    您可以選擇直接輸入API金鑰,或從 擷取秘密 AWS Secrets Manager 以存取 Datadog。

    • API 金鑰

      請聯絡 Datadog 取得您所需的API金鑰,以便從 Firehose 將資料交付至此端點。

    • Secret

      從 中選取 AWS Secrets Manager 包含 Datadog API金鑰的秘密。如果您在下拉式清單中看不到秘密,請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊,請參閱在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證

    內容編碼

    Amazon Data Firehose 使用內容編碼來壓縮請求的內文,然後再將其傳送至目的地。選擇GZIP停用以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon Data Firehose 重試將資料傳送至所選HTTP端點的時間長度。

    傳送資料後,Amazon Data Firehose 會先等待來自HTTP端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,Amazon Data Firehose 會將其視為資料交付失敗,並將資料備份到您的 Amazon S3 儲存貯體。

    每次 Amazon Data Firehose 將資料傳送到HTTP端點 (初始嘗試或重試) 時,都會重新啟動確認逾時計數器,並等待HTTP端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或達到確認逾時期間為止。如果確認逾時,Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon Data Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon Data Firehose 會在每個HTTP呼叫中包含這些鍵/值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon Data Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

設定 Honeycomb 的目的地設定

本節說明使用 Honeycomb 作為目的地的選項。如需 Honeycomb 的詳細資訊,請參閱 https://docs.honeycomb.io/getting-data-in/metrics/aws-cloudwatch-metrics/

  • 為下列欄位提供值:

    Honeycomb Kinesis 端點

    以下列格式指定HTTP端點URL的 : https://api.honeycomb.io/1/kinesis_events/{{dataset}}

    身分驗證

    您可以選擇直接輸入API金鑰,或從 擷取秘密 AWS Secrets Manager 以存取 Honeycomb。

    • API 金鑰

      請聯絡 Honeycomb 取得您所需的API金鑰,以便從 Firehose 將資料交付至此端點。

    • Secret

      從 中選取 AWS Secrets Manager 包含 Honeycomb API金鑰的秘密。如果您在下拉式清單中看不到秘密,請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊,請參閱在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證

    內容編碼

    Amazon Data Firehose 使用內容編碼來壓縮請求的內文,然後再將其傳送至目的地。選擇 GZIP以啟用請求的內容編碼。這是 Honeycomb 目的地的建議選項。

    Retry duration (重試持續時間)

    指定 Amazon Data Firehose 重試將資料傳送至所選HTTP端點的時間長度。

    傳送資料後,Amazon Data Firehose 會先等待來自HTTP端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,Amazon Data Firehose 會將其視為資料交付失敗,並將資料備份到您的 Amazon S3 儲存貯體。

    每次 Amazon Data Firehose 將資料傳送到HTTP端點 (初始嘗試或重試) 時,都會重新啟動確認逾時計數器,並等待HTTP端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或達到確認逾時期間為止。如果確認逾時,Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon Data Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon Data Firehose 會在每個HTTP呼叫中包含這些鍵/值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon Data Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

設定 Coralogix 的目的地設定

本節會描述使用 Coralogix 作為目的地的選項。如需 Coralogix 的詳細資訊,請參閱開始使用 Coralogix

  • 為下列欄位提供值:

    HTTP 端點 URL

    URL 從下拉式選單中的下列選項中選擇HTTP端點:

    • Coralogix - US

    • Coralogix - SINGAPORE

    • Coralogix - IRELAND

    • Coralogix - INDIA

    • Coralogix - STOCKHOLM

    身分驗證

    您可以選擇直接輸入私有金鑰,或從 擷取秘密 AWS Secrets Manager 以存取 Coralogix。

    • 私有金鑰

      請聯絡 Coralogix 取得您所需的私有金鑰,以便從 Firehose 將資料交付至此端點。

    • Secret

      從 中選取 AWS Secrets Manager 包含 Coralogix 私有金鑰的秘密。如果您在下拉式清單中看不到秘密,請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊,請參閱在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證

    內容編碼

    Amazon Data Firehose 使用內容編碼來壓縮請求的內文,然後再將其傳送至目的地。選擇 GZIP以啟用請求的內容編碼。這是 Coralogix 目的地的建議選項。

    Retry duration (重試持續時間)

    指定 Amazon Data Firehose 重試將資料傳送至所選HTTP端點的時間長度。

    傳送資料後,Amazon Data Firehose 會先等待來自HTTP端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,Amazon Data Firehose 會將其視為資料交付失敗,並將資料備份到您的 Amazon S3 儲存貯體。

    每次 Amazon Data Firehose 將資料傳送到HTTP端點 (初始嘗試或重試) 時,都會重新啟動確認逾時計數器,並等待HTTP端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或達到確認逾時期間為止。如果確認逾時,Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon Data Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon Data Firehose 會在每個HTTP呼叫中包含這些鍵/值對。這些參數可協助您識別和整理目的地。

    • applicationName:您執行 Data Firehose 的環境

    • subsystemName:Data Firehose 整合的名稱

    • computerName:正在使用的 Firehose 串流名稱

    緩衝提示

    Amazon Data Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。目的地的建議緩衝區大小會根據服務供應商而有所不同。

設定 Dynatrace 的目的地設定

本節會描述使用 Dynatrace 作為目的地的選項。如需詳細資訊,請參閱 https://www.dynatrace.com/support/help/technology-support/cloud-platforms/amazon-web-services/integrations/cloudwatch-metric-streams/

  • 選擇選項以使用 Dynatrace 做為 Firehose 串流的目的地。

    擷取類型

    選擇是否要在 Dynatrace 中交付指標日誌 (預設),以進行進一步分析和處理。

    HTTP 端點 URL

    從下拉式功能表中選擇HTTP端點 URL(Dynatrace USDynatrace EUDynatrace Global)。

    身分驗證

    您可以選擇直接輸入API字符,或從 擷取秘密 AWS Secrets Manager 以存取 Dynatrace。

    API URL

    提供 Dynatrace 環境APIURL的 。

    內容編碼

    選擇是否要啟用內容編碼來壓縮請求的內文。Amazon Data Firehose 使用內容編碼來壓縮請求的內文,然後再將其傳送至目的地。啟用時,會以 GZIP 格式壓縮的內容。

    Retry duration (重試持續時間)

    指定 Firehose 重試傳送資料到所選HTTP端點的時間長度。

    傳送資料後,Firehose 會先等待端點的確認HTTP。如果發生錯誤或確認未在確認逾時期間內送達,Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,Firehose 會將其視為資料交付失敗,並將資料備份到您的 Amazon S3 儲存貯體。

    每次 Firehose 傳送資料到HTTP端點時,無論是在初次嘗試期間或重試之後,都會重新啟動確認逾時計數器,並等待HTTP端點的確認。

    即使重試持續時間過期,Firehose 仍會等待確認,直到收到確認或達到確認逾時期間為止。如果確認逾時,Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon Data Firehose 會在每個HTTP呼叫中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon Data Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。緩衝區提示包含串流的緩衝區大小和間隔。目的地的建議緩衝區大小會根據服務供應商而有所不同。

設定 的目的地設定 LogicMonitor

本節說明使用 LogicMonitor 做為目的地的選項。如需詳細資訊,請參閱https://www.logicmonitor.com

  • 為下列欄位提供值:

    HTTP 端點 URL

    以下列格式指定HTTP端點URL的 。

    https://ACCOUNT.logicmonitor.com
    身分驗證

    您可以選擇直接輸入API金鑰,或從 擷取秘密 AWS Secrets Manager 以進行存取 LogicMonitor。

    • API 金鑰

      請聯絡 LogicMonitor 以取得您所需的API金鑰,以便從 Firehose 將資料交付至此端點。

    • Secret

      從 中選取 AWS Secrets Manager 包含 API 金鑰的秘密 LogicMonitor。如果您在下拉式清單中看不到秘密,請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊,請參閱在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證

    內容編碼

    Amazon Data Firehose 使用內容編碼來壓縮請求的內文,然後再將其傳送至目的地。選擇GZIP停用以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon Data Firehose 重試傳送資料到所選HTTP端點的時間長度。

    傳送資料後,Amazon Data Firehose 會先等待來自HTTP端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,Amazon Data Firehose 會將其視為資料交付失敗,並將資料備份到您的 Amazon S3 儲存貯體。

    每次 Amazon Data Firehose 傳送資料到HTTP端點 (初始嘗試或重試) 時,都會重新啟動確認逾時計數器,並等待HTTP端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或達到確認逾時期間為止。如果確認逾時,Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon Data Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon Data Firehose 會在每個HTTP呼叫中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon Data Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

設定 Logz.io 的目的地設定

本節說明使用 Logz.io 作為目的地的選項。如需詳細資訊,請參閱 https://https://logz.io/

注意

在歐洲 (米蘭) 區域中,不支援 Logz.io 做為 Amazon Data Firehose 目的地。

  • 為下列欄位提供值:

    HTTP 端點 URL

    以下列格式指定HTTP端點URL的 。URL 必須是 HTTPS URL。

    https://listener-aws-metrics-stream-<region>.logz.io/

    例如

    https://listener-aws-metrics-stream-us.logz.io/
    身分驗證

    您可以選擇直接輸入運送字符,或從 擷取秘密 AWS Secrets Manager 以存取 Logz.io。

    • 運送字符

      請聯絡 Logz.io:// 以取得從 Firehose 啟用資料交付至此端點所需的運送字符。

    • Secret

      從 AWS Secrets Manager 中選取包含 Logz.io 運送字符的秘密。如果您在下拉式清單中看不到秘密,請在 中建立一個 AWS Secrets Manager。如需詳細資訊,請參閱在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證

    Retry duration (重試持續時間)

    指定 Amazon Data Firehose 重試將資料傳送至 Logz.io 的時間長度。

    傳送資料後,Amazon Data Firehose 會先等待來自HTTP端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,Amazon Data Firehose 會將其視為資料交付失敗,並將資料備份到您的 Amazon S3 儲存貯體。

    每次 Amazon Data Firehose 傳送資料到HTTP端點 (初始嘗試或重試) 時,都會重新啟動確認逾時計數器,並等待HTTP端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或達到確認逾時期間為止。如果確認逾時,Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon Data Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon Data Firehose 會在每個HTTP呼叫中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon Data Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

設定 MongoDB 雲端的目的地設定

本節會描述使用 MongoDB Cloud 作為目的地的選項。如需詳細資訊,請參閱https://www.mongodb.com

  • 為下列欄位提供值:

    MongoDB Realm Webhook URL

    以下列格式指定HTTP端點URL的 。

    https://webhooks.mongodb-realm.com

    URL 必須是 HTTPS URL。

    身分驗證

    您可以選擇直接輸入API金鑰,或從 擷取秘密 AWS Secrets Manager 以存取 MongoDB Cloud。

    • API 金鑰

      請聯絡 MongoDB Cloud,取得從 Firehose 啟用資料交付至此端點所需的API金鑰。

    • Secret

      從 中選取 AWS Secrets Manager 包含 MongoDB Cloud API金鑰的秘密。如果您在下拉式清單中看不到秘密,請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊,請參閱在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證

    內容編碼

    Amazon Data Firehose 使用內容編碼來壓縮請求的內文,然後再將其傳送至目的地。選擇GZIP停用以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon Data Firehose 重試傳送資料到所選第三方供應商的時間長度。

    傳送資料後,Amazon Data Firehose 會先等待來自HTTP端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,Amazon Data Firehose 會將其視為資料交付失敗,並將資料備份到您的 Amazon S3 儲存貯體。

    每次 Amazon Data Firehose 傳送資料到HTTP端點 (初始嘗試或重試) 時,都會重新啟動確認逾時計數器,並等待HTTP端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或達到確認逾時期間為止。如果確認逾時,Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon Data Firehose 重試傳送資料,請將此值設定為 0。

    緩衝提示

    Amazon Data Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

    參數 - 選用

    Amazon Data Firehose 會在每個HTTP呼叫中包含這些鍵值對。這些參數可協助您識別和整理目的地。

設定新複本的目的地設定

本節會描述使用 New Relic 作為目的地的選項。如需詳細資訊,請參閱https://newrelic.com

  • 為下列欄位提供值:

    HTTP 端點 URL

    URL 從下拉式清單中的下列選項中選擇HTTP端點。

    • New Relic 日誌 - US

    • New Relic 指標 - US

    • New Relic 指標 - EU

    身分驗證

    您可以選擇直接輸入API金鑰,或從 擷取秘密 AWS Secrets Manager 以存取新複本。

    • API 金鑰

      輸入您的授權金鑰,這是 40 個字元的十六進位字串,來自您的新複本單一帳戶設定。您需要此API金鑰才能從 Firehose 啟用資料交付至此端點。

    • Secret

      從 中選取 AWS Secrets Manager 包含新複本API金鑰的秘密。如果您在下拉式清單中看不到秘密,請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊,請參閱在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證

    內容編碼

    Amazon Data Firehose 使用內容編碼來壓縮請求的內文,然後再將其傳送至目的地。選擇GZIP停用以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon Data Firehose 重試將資料傳送至新複本HTTP端點的時間長度。

    傳送資料後,Amazon Data Firehose 會先等待來自HTTP端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,Amazon Data Firehose 會將其視為資料交付失敗,並將資料備份到您的 Amazon S3 儲存貯體。

    每次 Amazon Data Firehose 傳送資料到HTTP端點 (初始嘗試或重試) 時,都會重新啟動確認逾時計數器,並等待HTTP端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或達到確認逾時期間為止。如果確認逾時,Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon Data Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon Data Firehose 會在每個HTTP呼叫中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon Data Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

設定 Snowflake 的目的地設定

本節說明將 Snowflake 用於目的地的選項。

注意

Firehose 與 Snowflake 的整合已在美國東部 (維吉尼亞北部)、美國西部 (奧勒岡)、歐洲 (愛爾蘭)、美國東部 (俄亥俄)、亞太區域 (東京)、歐洲 (法蘭克福)、亞太區域 (新加坡)、亞太區域 (首爾) 和亞太區域 (雪梨)、亞太區域 (孟買)、歐洲 (倫敦)、南美洲 (聖保羅)、加拿大 (中部)、歐洲 (巴黎)、亞太區域 (大阪)、歐洲 (斯德哥爾摩)、亞太區域 (雅加達) AWS 區域提供。

連線設定
  • 為下列欄位提供值:

    Snowflake 帳戶 URL

    指定 Snowflake 帳戶 URL。例如:xy12345.us-east-1.aws.snowflakecomputing.com。請參閱 Snowflake 文件,了解如何判斷您的帳戶URL。請注意,您不必指定連接埠號碼,而通訊協定 (https://) 是選用的。

    身分驗證

    您可以選擇手動輸入 userlogin、私有金鑰和密碼片語,或從 擷取秘密 AWS Secrets Manager 以存取 Snowflake。

    • 使用者登入

      指定要用於載入資料的 Snowflake 使用者。確定使用者有權將資料插入 Snowflake 資料表。

    • 私有金鑰

      指定要以 PKCS8 格式使用 Snowflake 進行身分驗證的私有金鑰。此外,請勿將PEM標頭和頁尾包含在私有金鑰中。如果金鑰分割為多行,請移除換行符號。以下是私有金鑰必須看起來的範例。

      -----BEGIN PRIVATE KEY----- KEY_CONTENT -----END PRIVATE KEY-----

      移除 中的空間,KEY_CONTENT並將其提供給 Firehose。不需要標頭/頁尾或新行字元。

    • Passphrase (密碼短語)

      指定密碼以解密加密的私有金鑰。如果私有金鑰未加密,您可以將此欄位保留空白。如需詳細資訊,請參閱使用金鑰對身分驗證和金鑰輪換

    • Secret

      從 中選取 AWS Secrets Manager 包含 Snowflake 登入資料的秘密。如果您在下拉式清單中看不到秘密,請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊,請參閱在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證

    角色組態

    使用預設 Snowflake 角色 – 如果選取此選項,Firehose 不會將任何角色傳遞給 Snowflake。會擔任預設角色以載入資料。請確定預設角色具有將資料插入 Snowflake 資料表的許可。

    使用自訂 Snowflake 角色 – 在將資料載入 Snowflake 資料表時,輸入 Firehose 要擔任的非預設 Snowflake 角色。

    Snowflake 連線

    選項為私有有。

    Private VPCE ID (選用)

    Firehose 要與 Snowflake 私有連線的 VPCE ID。ID 格式為 com.amazonaws.vpce.【region】.vpce-svc-[id]。如需詳細資訊,請參閱 AWS PrivateLink & Snowflake

    注意

    如果您的 Snowflake 叢集已啟用私有連結,請使用 AwsVpceIds型網路政策來允許 Amazon Data Firehose 資料。Firehose 不需要您在 Snowflake 帳戶中設定 IP 型網路政策。啟用 IP 型網路政策可能會干擾 Firehose 連線。如果您有需要 IP 型政策的邊緣案例,請提交支援票證來聯絡 Firehose 團隊。如需VPCEIDs您可以使用的 清單,請參閱 在 中存取 Snowflake VPC

資料庫組態
  • 您必須指定下列設定,才能使用 Snowflake 做為 Firehose 串流的目的地。

    • Snowflake 資料庫 – Snowflake 中的所有資料都會保留在資料庫中。

    • Snowflake 結構描述 – 每個資料庫包含一或多個結構描述,這些結構描述是資料庫物件的邏輯分組,例如資料表和檢視

    • Snowflake 資料表 – Snowflake 中的所有資料都存放在資料庫資料表中,邏輯結構為資料欄和資料列的集合。

Snowflake 資料表的資料載入選項

  • 使用JSON索引鍵做為欄名稱

  • 使用VARIANT資料欄

    • 內容欄名稱 – 在資料表中指定欄名稱,其中必須載入原始資料。

    • 中繼資料資料欄名稱 (選用) – 在資料表中指定資料欄名稱,其中必須載入中繼資料資訊。當您啟用此欄位時,您會根據來源類型,在 Snowflake 資料表中看到下列資料欄。

      對於直接PUT作為來源

      { "firehoseDeliveryStreamName" : "streamname", "IngestionTime" : "timestamp" }

      對於 Kinesis Data Stream 作為來源

      { "kinesisStreamName" : "streamname", "kinesisShardId" : "Id", "kinesisPartitionKey" : "key", "kinesisSequenceNumber" : "1234", "subsequenceNumber" : "2334", "IngestionTime" : "timestamp" }

Retry duration (重試持續時間)

如果因 Snowflake 服務問題而開啟頻道或交付至 Snowflake 失敗,Firehose 重試的持續時間 (0–7200 秒)。Firehose 會以指數退避重試,直到重試持續時間結束。如果您將重試持續時間設定為 0 (零) 秒,Firehose 不會在 Snowflake 失敗時重試,並將資料路由到 Amazon S3 錯誤儲存貯體。

緩衝區提示

Amazon Data Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。如需詳細資訊,請參閱設定緩衝提示

設定 Splunk 的目的地設定

本節說明使用 Splunk 做為目的地的選項。

注意

Firehose 會將資料交付至使用 Classic Load Balancer 或 Application Load Balancer 設定的 Splunk 叢集。

  • 為下列欄位提供值:

    Splunk cluster endpoint (Splunk 叢集端點)

    若要判斷端點,請參閱 Splunk 文件中的設定 Amazon Data Firehose 將資料傳送至 Splunk 平台

    Splunk endpoint type (Splunk 端點類型)

    在大多數情況下,請選擇Raw endpoint。選擇Event endpoint您是否使用 預先處理資料 AWS Lambda ,以依事件類型將資料傳送至不同的索引。如需有關要使用哪些端點的資訊,請參閱 Splunk 文件中的設定 Amazon Data Firehose 將資料傳送至 Splunk 平台

    身分驗證

    您可以選擇直接輸入身分驗證字符,或從 擷取秘密 AWS Secrets Manager 以存取 Splunk。

    HEC 確認逾時

    指定 Amazon Data Firehose 等待 Splunk 的索引確認的時間長度。如果 Splunk 未在達到逾時之前傳送確認,Amazon Data Firehose 會將其視為資料交付失敗。然後,Amazon Data Firehose 會根據您設定的重試持續時間值,重試或備份資料到您的 Amazon S3 儲存貯體。

    Retry duration (重試持續時間)

    指定 Amazon Data Firehose 重試傳送資料至 Splunk 的時間長度。

    傳送資料後,Amazon Data Firehose 會先等待 Splunk 的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,Amazon Data Firehose 會將其視為資料交付失敗,並將資料備份到您的 Amazon S3 儲存貯體。

    每次 Amazon Data Firehose 傳送資料至 Splunk (初始嘗試或重試) 時,都會重新啟動確認逾時計數器,並等待 Splunk 的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或達到確認逾時期間為止。如果確認逾時,Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon Data Firehose 重試傳送資料,請將此值設定為 0。

    緩衝提示

    Amazon Data Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。目的地的建議緩衝區大小會根據服務供應商而有所不同。

設定 Splunk 可觀測性雲端的目的地設定

本節會描述使用 Splunk Observability Cloud 作為目的地的選項。如需詳細資訊,請參閱 https://docs.splunk.com/observability/en/gdi/get-data-in/connect/aws/aws-apiconfig.html#connect-to-aws-using-the-splunk-observability-cloud-api

  • 為下列欄位提供值:

    雲端擷取端點 URL

    您可以在 Splunk 可觀測性主控台URL的設定檔 > 組織 > 即時資料擷取端點中找到 Splunk 可觀測性雲端的即時資料擷取。

    身分驗證

    您可以選擇直接輸入存取字符,或從 擷取秘密 AWS Secrets Manager ,以存取 Splunk 可觀測性雲端。

    • 存取記號

      在 Splunk 可觀測性主控台的設定下,從存取字符複製具有INGEST授權範圍的 Splunk 可觀測性存取字符。

    • Secret

      從中選取包含 Splunk 可觀測性雲端 AWS Secrets Manager 存取字符的秘密。如果您在下拉式清單中看不到秘密,請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊,請參閱在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證

    內容編碼

    Amazon Data Firehose 使用內容編碼來壓縮請求的內文,然後再將其傳送至目的地。選擇GZIP停用以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon Data Firehose 重試將資料傳送至所選HTTP端點的時間長度。

    傳送資料後,Amazon Data Firehose 會先等待來自HTTP端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,Amazon Data Firehose 會將其視為資料交付失敗,並將資料備份到您的 Amazon S3 儲存貯體。

    每次 Amazon Data Firehose 將資料傳送到HTTP端點 (初始嘗試或重試) 時,都會重新啟動確認逾時計數器,並等待HTTP端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或達到確認逾時期間為止。如果確認逾時,Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon Data Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon Data Firehose 會在每個HTTP呼叫中包含這些鍵/值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon Data Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

設定 Sumo Logic 的目的地設定

本節會描述使用 Sumo Logic 作為目的地的選項。如需詳細資訊,請參閱https://www.sumologic.com

  • 為下列欄位提供值:

    HTTP 端點 URL

    以下列格式指定HTTP端點URL的 :https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token。URL 必須是 HTTPS URL。

    內容編碼

    Amazon Data Firehose 使用內容編碼來壓縮請求的內文,然後再將其傳送至目的地。選擇GZIP停用以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon Data Firehose 重試傳送資料到 Sumo Logic 的時間長度。

    傳送資料後,Amazon Data Firehose 會先等待來自HTTP端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,Amazon Data Firehose 會將其視為資料交付失敗,並將資料備份到您的 Amazon S3 儲存貯體。

    每次 Amazon Data Firehose 將資料傳送到HTTP端點 (初始嘗試或重試) 時,都會重新啟動確認逾時計數器,並等待HTTP端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或達到確認逾時期間為止。如果確認逾時,Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon Data Firehose 重試傳送資料,請將此值設為 0。

    參數 - 選用

    Amazon Data Firehose 會在每個HTTP呼叫中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon Data Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。建議的 Elastic 目的地緩衝區大小因服務提供者而異。

設定彈性的目的地設定

本節會描述使用 Elastic 作為目的地的選項。

  • 為下列欄位提供值:

    彈性端點 URL

    以下列格式指定HTTP端點URL的 :https://<cluster-id>.es.<region>.aws.elastic-cloud.com。URL 必須是 HTTPS URL。

    身分驗證

    您可以選擇直接輸入API金鑰,或從 擷取秘密 AWS Secrets Manager 以存取 Elastic。

    • API 金鑰

      請聯絡 Elastic 取得您所需的API金鑰,以便從 Firehose 將資料交付至其服務。

    • Secret

      從 中選取 AWS Secrets Manager 包含 Elastic API金鑰的秘密。如果您在下拉式清單中看不到秘密,請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊,請參閱在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證

    內容編碼

    Amazon Data Firehose 使用內容編碼來壓縮請求的內文,然後再將其傳送至目的地。選擇 GZIP(這是預設選取的項目) 或停用,以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon Data Firehose 重試傳送資料到 Elastic 的時間長度。

    傳送資料後,Amazon Data Firehose 會先等待來自HTTP端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,Amazon Data Firehose 會將其視為資料交付失敗,並將資料備份到您的 Amazon S3 儲存貯體。

    每次 Amazon Data Firehose 將資料傳送到HTTP端點 (初始嘗試或重試) 時,都會重新啟動確認逾時計數器,並等待HTTP端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或達到確認逾時期間為止。如果確認逾時,Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon Data Firehose 重試傳送資料,請將此值設為 0。

    參數 - 選用

    Amazon Data Firehose 會在每個HTTP呼叫中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon Data Firehose 會先緩衝傳入的資料,再將其交付至指定的目的地。Elastic 目的地的建議緩衝區大小為 1 MiB。