대상 설정 구성 - Amazon Data Firehose

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

대상 설정 구성

이 섹션에서는 선택한 대상에 따라 Firehose 스트림에 대해 구성해야 하는 설정을 설명합니다.

Amazon S3의 대상 설정 구성

Firehose 스트림의 대상으로 Amazon S3을 사용하려면 다음 설정을 지정해야 합니다.

  • 다음 필드에 값을 입력합니다.

    S3 버킷

    스트리밍 데이터가 전송되어야 하는 고유한 S3 버킷을 선택합니다. 새 S3 버킷을 생성하거나 기존 버킷을 선택할 수 있습니다.

    새 줄 구분 기호

    Amazon S3로 전송되는 객체의 레코드 사이에 새로운 줄 구분 기호를 추가하도록 Firehose 스트림을 구성할 수 있습니다. 이를 위해 Enabled(활성화)를 선택합니다. Amazon S3로 전달되는 객체의 레코드 사이에 새 줄 구분 기호를 추가하지 않으려면 Disabled(비활성화)를 선택합니다. Athena를 사용하여 집계된 레코드가 있는 S3 객체를 쿼리하려는 경우 이 옵션을 활성화합니다.

    동적 파티셔닝

    동적 파티셔닝을 활성화하고 구성하려면 Enabled(활성화)를 선택합니다.

    다중 레코드 분해

    이는 Firehose 스트림의 레코드를 구문 분석하고 유효한 JSON 또는 지정된 새 줄 구분 기호를 기준으로 구분하는 프로세스입니다.

    여러 이벤트, 로그 또는 레코드를 단일 PutRecord 및 PutRecordBatch API 호출로 집계하는 경우에도 동적 파티셔닝을 활성화하고 구성할 수 있습니다. 집계된 데이터의 경우 동적 파티셔닝을 활성화하면 Amazon Data Firehose는 레코드를 구문 분석하고 각 API 호출 내에서 여러 유효한 JSON 객체를 찾습니다. Firehose 스트림이 Kinesis Data Stream을 소스로 사용하여 구성된 경우 Kinesis 생산자 라이브러리()에서 내장 집계를 사용할 수도 있습니다KPL. 데이터 파티션 기능은 데이터가 분해된 후에 실행됩니다. 따라서 각 API 호출의 각 레코드는 서로 다른 Amazon S3 접두사로 전달될 수 있습니다. 또한 Lambda 함수 통합을 활용하여 데이터 파티셔닝 기능 전에 기타 집계 해제나 기타 변환을 수행할 수 있습니다.

    중요

    데이터가 집계된 경우, 먼저 데이터를 분해한 경우에만 동적 파티셔닝을 적용할 수 있습니다. 따라서 집계된 데이터에 대해 동적 파티셔닝을 활성화하려면 Enabled(활성화)를 선택하여 다중 레코드 분해를 활성화해야 합니다.

    Firehose 스트림은 KPL (protobuf) 디어그리게이션 JSON 또는 구분 기호 디어그리게이션, Lambda 처리, 데이터 파티셔닝, 데이터 형식 변환 및 Amazon S3 전송 순서로 처리 단계를 수행합니다.

    다중 레코드 분해 유형

    다중 레코드 분해를 활성화한 경우 Firehose의 데이터 분해 방법을 지정해야 합니다. 드롭다운 메뉴를 사용하여 JSON 또는 구분을 선택합니다.

    인라인 구문 분석

    이는 Amazon S3에 바인딩된 데이터를 동적으로 파티셔닝하기 위해 지원되는 메커니즘 중 하나입니다. 데이터의 동적 파티셔닝에 인라인 구문 분석을 사용하려면, 파티션 키로 사용할 데이터 레코드 파라미터를 지정하고 지정된 각 파티션 키의 값을 입력해야 합니다. 인라인 구문 분석을 활성화하고 구성하려면 Enabled(활성화)를 선택합니다.

    중요

    소스 레코드 변환을 위해 위 단계에서 AWS Lambda 함수를 지정한 경우이 함수를 사용하여 S3에 바인딩된 데이터를 동적으로 분할할 수 있으며 인라인 구문 분석으로 파티셔닝 키를 생성할 수 있습니다. 동적 파티셔닝을 사용하면 인라인 구문 분석 또는 AWS Lambda 함수를 사용하여 파티셔닝 키를 생성할 수 있습니다. 또는 인라인 구문 분석과 AWS Lambda 함수를 동시에 사용하여 파티셔닝 키를 생성할 수 있습니다.

    동적 파티션 키

    KeyValue 필드를 사용하여 동적 파티션 키로 사용할 데이터 레코드 파라미터 및 동적 파티션 키 값을 생성하기 위한 jq 쿼리를 지정할 수 있습니다. Firehose에서는 jq 1.6만 지원됩니다. 동적 파티션 키는 최대 50개까지 지정할 수 있습니다. Firehose 스트림의 동적 파티셔닝을 성공적으로 구성하려면 동적 파티션 키 값에 유효한 jq 표현식을 입력해야 합니다.

    S3 버킷 접두사

    동적 파티셔닝을 활성화하고 구성할 때는 Amazon Data Firehose가 파티셔닝된 데이터를 전송할 S3 버킷 접두사를 반드시 지정해야 합니다.

    동적 파티셔닝을 올바르게 구성하려면 S3 버킷 접두사의 수가 지정된 파티션 키의 수와 동일해야 합니다.

    인라인 구문 분석 또는 지정된 AWS Lambda 함수를 사용하여 소스 데이터를 분할할 수 있습니다. 소스 데이터에 대한 파티셔닝 키를 생성하도록 Lambda 함수를 지정한 AWS 경우 “partitionKeyFromLambda:keyID” 형식을 사용하여 S3 버킷 접두사 값(들)을 수동으로 입력해야 합니다. 인라인 구문 분석을 사용하여 소스 데이터에 대한 파티셔닝 키를 지정하는 경우 "partitionKeyFromQuery:keyID" 형식을 사용하여 S3 버킷 미리 보기 값을 수동으로 입력하거나 동적 파티셔닝 키/값 페어 적용 버튼을 선택하여 동적 파티셔닝 키/값 페어를 사용하여 S3 버킷 접두사를 자동으로 생성할 수 있습니다. 인라인 구문 분석 또는 AWS Lambda로 데이터를 분할하는 동안 S3 버킷 접두사 !{namespace:value}에서 다음 표현식 양식을 사용할 수도 있습니다. 여기서 네임스페이스는 partitionKeyFrom쿼리 또는 partitionKeyFromLambda일 수 있습니다.

    S3 버킷 및 S3 오류 출력 접두사 시간대

    Amazon S3 객체의 사용자 지정 접두사에서 날짜 및 시간에 사용할 시간대를 선택합니다. 기본적으로 Firehose는에 시간 접두사를 추가합니다UTC. 다른 시간대를 사용하려면 S3 접두사에 사용되는 시간대를 변경할 수 있습니다.

    버퍼링 힌트

    Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

    S3 압축

    GZIP, Snappy, Zip 또는 Hadoop 호환 Snappy 데이터 압축 또는 데이터 압축 없음을 선택합니다. Amazon Redshift를 대상으로 하는 Firehose 스트림에는 Snappy, Zip, Hadoop 호환 Snappy 압축을 사용할 수 없습니다.

    S3 파일 확장 형식(선택 사항)

    Amazon S3 대상 버킷으로 전달되는 객체의 파일 확장 형식을 지정합니다. 이 기능을 활성화하면 지정된 파일 확장자가 데이터 형식 변환 또는 S3 압축 기능에 추가된 기본 파일 확장자(예: .parquet 또는 .gz)를 재정의합니다. 이 기능을 데이터 형식 변환 또는 S3 압축과 함께 사용할 때 올바른 파일 확장자를 구성했는지 확인하세요. 파일 확장자는 마침표(.)로 시작해야 하며 문자 0~9a~z!-_.*‘()를 포함할 수 있습니다. 파일 확장자는 128자를 초과할 수 없습니다.

    S3 암호화

    Firehose는 Amazon S3에서 전송된 데이터를 암호화하기 위해 AWS Key Management Service (SSE-KMS)를 사용한 Amazon S3 서버 측 암호화를 지원합니다. 대상 S3 버킷에 지정된 기본 암호화 유형을 사용하거나 소유한 키 목록의 AWS KMS 키로 암호화하도록 선택할 수 있습니다. AWS KMS 키로 데이터를 암호화하는 경우 기본 AWS 관리형 키(aws/s3) 또는 고객 관리형 키를 사용할 수 있습니다. 자세한 내용은 AWS KMS관리형 키(-SSEKMS)를 사용한 서버 측 암호화를 사용하여 데이터 보호를 참조하세요.

Apache Iceberg 테이블의 대상 설정 구성

Firehose는 중국 리전 AWS GovCloud (US) Regions및 아시아 태평양(말레이시아)을 AWS 리전 제외한 모든에서 Apache Iceberg 테이블을 대상으로 지원합니다.

대상인 Apache Iceberg 테이블에 대한 자세한 내용은 Amazon Data Firehose를 사용하여 Apache Iceberg 테이블에 데이터 전송을 참조하세요.

Amazon Redshift의 대상 설정 구성

이 섹션에서는 Amazon Redshift를 Firehose 스트림 대상으로 사용하기 위한 설정을 설명합니다.

Amazon Redshift 프로비저닝된 클러스터 및 Amazon Redshift Serverless 작업 그룹 중 어느 것을 사용하는지 여부에 따라 다음 절차 중 하나를 선택합니다.

Amazon Redshift 프로비저닝된 클러스터

이 섹션에서는 Amazon Redshift 프로비저닝된 클러스터를 Firehose 스트림 대상으로 사용하기 위한 설정을 설명합니다.

  • 다음 필드에 값을 입력합니다.

    클러스터

    S3 버킷 데이터가 복사되는 Amazon Redshift 클러스터. Amazon Redshift 클러스터에 공개 액세스할 수 있도록 구성하고 Amazon Data Firehose IP 주소 차단을 해제합니다. 자세한 내용은 Firehose에 Amazon Redshift 대상에 대한 액세스 권한 부여 섹션을 참조하세요.

    인증

    사용자 이름/암호를 직접 입력하거나에서 보안 암호를 검색 AWS Secrets Manager 하여 Amazon Redshift 클러스터에 액세스할 수 있습니다.

    • 사용자 이름

      Amazon Redshift 클러스터에 대한 액세스 권한을 가진 Amazon Redshift 사용자를 특정합니다. 이 사용자에게는 S3 버킷에서 Amazon Redshift 클러스터로 데이터를 복사할 수 있는 Amazon Redshift INSERT 권한이 있어야 합니다.

    • 암호

      클러스터에 액세스할 권한이 있는 사용자의 암호를 특정합니다.

    • Secret

      Amazon Redshift 클러스터의 보안 인증 AWS Secrets Manager 정보가 포함된 보안 암호를에서 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않는 경우 Amazon Redshift 보안 인증에 대해 AWS Secrets Manager 에서 보안 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose AWS Secrets Manager 에서 로 인증 섹션을 참조하세요.

    데이터베이스

    데이터가 복사되는 Amazon Redshift 데이터베이스.

    데이터가 복사되는 Amazon Redshift 테이블.

    (선택 사항) 데이터가 복사되는 테이블의 특정 열입니다. Amazon S3 객체에 정의된 열의 수가 Amazon Redshift 테이블 내 열의 수보다 작은 경우 이 옵션을 사용합니다.

    중간 S3 대상

    Firehose는 먼저 S3 버킷으로 데이터를 전송한 다음 Amazon Redshift COPY 명령을 실행하여 Amazon Redshift 클러스터로 데이터를 로드합니다. 스트리밍 데이터가 전송되어야 하는 고유한 S3 버킷을 지정합니다. 새 S3 버킷을 생성하거나 기존에 가지고 있는 버킷을 선택합니다.

    Firehose는 Amazon Redshift 클러스터에 S3 버킷의 데이터를 로드한 후 삭제하지 않습니다. 수명 주기 구성을 이용해 S3 버킷에서 데이터를 관리할 수 있습니다. 자세한 내용은 Amazon Simple Storage Service 사용 설명서객체 수명 주기 관리를 참조하세요.

    중간 S3 접두사

    (옵션) Amazon S3 객체에 기본 접두사를 사용하려면 이 옵션을 비워 두세요. Firehose는 전송된 Amazon S3 객체에 대해 "YYYY/MM/dd/HH" UTC 시간 형식의 접두사를 자동으로 사용합니다. 이 접두사 시작 부분에 추가할 수 있습니다. 자세한 내용은 Amazon S3 객체 이름 형식 구성 단원을 참조하십시오.

    COPY 옵션

    Amazon Redshift COPY 명령에서 지정할 수 있는 파라미터. 이 파라미터는 구성에 필요할 수 있습니다. 예를 들어, Amazon S3 데이터 압축이 활성화된 경우 “GZIP”가 필요합니다. S3 버킷이 Amazon Redshift 클러스터와 동일한 AWS 리전에 있지 않은 경우 “REGION”가 필요합니다. 자세한 내용은 Amazon Redshift 데이터베이스 개발자 안내서COPY을 참조하세요.

    COPY 명령

    Amazon Redshift COPY 명령. 자세한 내용은 Amazon Redshift 데이터베이스 개발자 안내서COPY을 참조하세요.

    재시도 기간

    Amazon Redshift 클러스터로의 데이터 COPY가 에 장애가 발생할 경우 Firehose가 재시도하는 데 걸리는 시간 (0~7,200초) 입니다. Firehose는 재시도 기간이 만료될 때까지 5분마다 재시도합니다. 재시도 기간을 0초로 설정한 경우, COPY 명령 실패 후 Firehose는 재시도를 수행하지 않습니다.

    버퍼링 힌트

    Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

    S3 압축

    GZIP, Snappy, Zip 또는 Hadoop 호환 Snappy 데이터 압축 또는 데이터 압축 없음을 선택합니다. Amazon Redshift를 대상으로 하는 Firehose 스트림에는 Snappy, Zip, Hadoop 호환 Snappy 압축을 사용할 수 없습니다.

    S3 파일 확장 형식(선택 사항)

    S3 파일 확장자 형식(선택 사항) - Amazon S3 대상 버킷에 전달되는 객체에 대한 파일 확장자 형식을 지정합니다. 이 기능을 활성화하면 지정된 파일 확장자가 데이터 형식 변환 또는 S3 압축 기능에 추가된 기본 파일 확장자(예: .parquet 또는 .gz)를 재정의합니다. 이 기능을 데이터 형식 변환 또는 S3 압축과 함께 사용할 때 올바른 파일 확장자를 구성했는지 확인하세요. 파일 확장자는 마침표(.)로 시작해야 하며 문자 0~9a~z!-_.*‘()를 포함할 수 있습니다. 파일 확장자는 128자를 초과할 수 없습니다.

    S3 암호화

    Firehose는 Amazon S3에서 전송된 데이터를 암호화하기 위해 AWS Key Management Service (SSE-KMS)를 사용한 Amazon S3 서버 측 암호화를 지원합니다. 대상 S3 버킷에 지정된 기본 암호화 유형을 사용하거나 소유한 키 목록의 AWS KMS 키로 암호화하도록 선택할 수 있습니다. AWS KMS 키로 데이터를 암호화하는 경우 기본 AWS 관리형 키(aws/s3) 또는 고객 관리형 키를 사용할 수 있습니다. 자세한 내용은 AWS KMS관리형 키(-SSEKMS)를 사용한 서버 측 암호화를 사용하여 데이터 보호를 참조하세요.

Amazon Redshift Serverless 작업 그룹에 대한 대상 설정 구성

이 섹션에서는 Amazon Redshift Serverless 작업 그룹을 Firehose 스트림 대상으로 사용하기 위한 설정을 설명합니다.

  • 다음 필드에 값을 입력합니다.

    작업 그룹 이름

    S3 버킷 데이터가 복사되는 Amazon Redshift Serverless 작업 그룹. Amazon Redshift Serverless 작업 그룹에 공개 액세스할 수 있도록 구성하고 Firehose IP 주소 차단을 해제합니다. 자세한 내용은 Amazon Redshift Serverless에 연결의 공개 액세스가 가능한 Amazon Redshift Serverless 인스턴스에 연결 섹션 및 Firehose에 Amazon Redshift 대상에 대한 액세스 권한 부여 를 참조하세요.

    인증

    사용자 이름/암호를 직접 입력하거나에서 보안 암호를 검색 AWS Secrets Manager 하여 Amazon Redshift Serverless 작업 그룹에 액세스하도록 선택할 수 있습니다.

    • 사용자 이름

      Amazon Redshift Serverless 작업 그룹에 대한 액세스 권한을 가진 Amazon Redshift 사용자를 특정합니다. 이 사용자에게는 S3 버킷에서 Amazon Redshift Serverless 작업 그룹으로 데이터를 복사할 수 있는 Amazon Redshift INSERT 권한이 있어야 합니다.

    • 암호

      Amazon Redshift Serverless 작업 그룹에 액세스할 권한이 있는 사용자의 비밀번호를 특정합니다.

    • Secret

      Amazon Redshift Serverless 작업 그룹의 보안 인증 AWS Secrets Manager 정보가 포함된 보안 암호를에서 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않는 경우 Amazon Redshift 보안 인증에 대해 AWS Secrets Manager 에서 보안 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose AWS Secrets Manager 에서 로 인증 섹션을 참조하세요.

    데이터베이스

    데이터가 복사되는 Amazon Redshift 데이터베이스.

    데이터가 복사되는 Amazon Redshift 테이블.

    (선택 사항) 데이터가 복사되는 테이블의 특정 열입니다. Amazon S3 객체에 정의된 열의 수가 Amazon Redshift 테이블 내 열의 수보다 작은 경우 이 옵션을 사용합니다.

    중간 S3 대상

    Amazon Data Firehose는 먼저 S3 버킷으로 데이터를 전송한 다음 Amazon Redshift COPY 명령을 실행하여 Amazon Redshift Serverless 작업 그룹으로 데이터를 로드합니다. 스트리밍 데이터가 전송되어야 하는 고유한 S3 버킷을 지정합니다. 새 S3 버킷을 생성하거나 기존에 가지고 있는 버킷을 선택합니다.

    Firehose는 Amazon Redshift Serverless 작업 그룹에 S3 버킷의 데이터를 로드한 후 삭제하지 않습니다. 수명 주기 구성을 이용해 S3 버킷에서 데이터를 관리할 수 있습니다. 자세한 내용은 Amazon Simple Storage Service 사용 설명서객체 수명 주기 관리를 참조하세요.

    중간 S3 접두사

    (옵션) Amazon S3 객체에 기본 접두사를 사용하려면 이 옵션을 비워 두세요. Firehose는 전송된 Amazon S3 객체에 대해 "YYYY/MM/dd/HH" UTC 시간 형식의 접두사를 자동으로 사용합니다. 이 접두사 시작 부분에 추가할 수 있습니다. 자세한 내용은 Amazon S3 객체 이름 형식 구성 단원을 참조하십시오.

    COPY 옵션

    Amazon Redshift COPY 명령에서 지정할 수 있는 파라미터. 이 파라미터는 구성에 필요할 수 있습니다. 예를 들어, Amazon S3 데이터 압축이 활성화된 경우 “GZIP”가 필요합니다. S3 버킷이 Amazon Redshift Serverless 작업 그룹과 동일한 AWS 리전에 있지 않은 경우 “REGION”가 필요합니다. 자세한 내용은 Amazon Redshift 데이터베이스 개발자 안내서COPY을 참조하세요.

    COPY 명령

    Amazon Redshift COPY 명령. 자세한 내용은 Amazon Redshift 데이터베이스 개발자 안내서COPY을 참조하세요.

    재시도 기간

    Amazon Redshift Serverless 작업 그룹에 대한 데이터 COPY가 실패할 경우 Firehose가 재시도하는 데 걸리는 시간(0~7200초). Firehose는 재시도 기간이 만료될 때까지 5분마다 재시도합니다. 재시도 기간을 0초로 설정한 경우, COPY 명령 실패 후 Firehose는 재시도를 수행하지 않습니다.

    버퍼링 힌트

    Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

    S3 압축

    GZIP, Snappy, Zip 또는 Hadoop 호환 Snappy 데이터 압축 또는 데이터 압축 없음을 선택합니다. Amazon Redshift를 대상으로 하는 Firehose 스트림에는 Snappy, Zip, Hadoop 호환 Snappy 압축을 사용할 수 없습니다.

    S3 파일 확장 형식(선택 사항)

    S3 파일 확장자 형식(선택 사항) - Amazon S3 대상 버킷에 전달되는 객체에 대한 파일 확장자 형식을 지정합니다. 이 기능을 활성화하면 지정된 파일 확장자가 데이터 형식 변환 또는 S3 압축 기능에 추가된 기본 파일 확장자(예: .parquet 또는 .gz)를 재정의합니다. 이 기능을 데이터 형식 변환 또는 S3 압축과 함께 사용할 때 올바른 파일 확장자를 구성했는지 확인하세요. 파일 확장자는 마침표(.)로 시작해야 하며 문자 0~9a~z!-_.*‘()를 포함할 수 있습니다. 파일 확장자는 128자를 초과할 수 없습니다.

    S3 암호화

    Firehose는 Amazon S3에서 전송된 데이터를 암호화하기 위해 AWS Key Management Service (SSE-KMS)를 사용한 Amazon S3 서버 측 암호화를 지원합니다. 대상 S3 버킷에 지정된 기본 암호화 유형을 사용하거나 소유한 키 목록의 AWS KMS 키로 암호화하도록 선택할 수 있습니다. AWS KMS 키로 데이터를 암호화하는 경우 기본 AWS 관리형 키(aws/s3) 또는 고객 관리형 키를 사용할 수 있습니다. 자세한 내용은 AWS KMS관리형 키(-SSEKMS)를 사용한 서버 측 암호화를 사용하여 데이터 보호를 참조하세요.

OpenSearch 서비스에 대한 대상 설정 구성

이 섹션에서는 대상에 OpenSearch 서비스를 사용하는 옵션을 설명합니다.

  • 다음 필드에 값을 입력합니다.

    OpenSearch 서비스 도메인

    데이터가 전달되는 OpenSearch 서비스 도메인입니다.

    인덱스

    OpenSearch 서비스 클러스터로 데이터를 인덱싱할 때 사용할 OpenSearch 서비스 인덱스 이름입니다.

    인덱스 로테이션

    OpenSearch 서비스 인덱스 교체 여부 및 빈도를 선택합니다. 인덱스 로테이션이 활성화되면 Amazon Data Firehose는 지정된 인덱스 이름에 해당 타임스탬프를 추가하여 교체합니다. 자세한 내용은 OpenSearch 서비스에 대한 인덱스 교체 구성 섹션을 참조하세요.

    유형

    OpenSearch 서비스 클러스터로 데이터를 인덱싱할 때 사용할 OpenSearch 서비스 유형 이름입니다. Elasticsearch 7.x 및 OpenSearch 1.x의 경우 인덱스당 유형이 하나만 있을 수 있습니다. 다른 유형을 가진 기존 인덱스에 새 유형을 지정하면 런타임 동안 Firehose가 오류를 반환합니다.

    Elasticsearch 7.x에서는 이 필드는 비워둡니다.

    재시도 기간

    인덱스 요청이 OpenSearch 실패할 경우 Firehose가 재시도하는 시간입니다. 재시도 기간 동안 0~7,200초 사이의 값을 설정할 수 있습니다. 기본 재시도 기간은 300초입니다. Firehose는 재시도 기간이 만료될 때까지 지수 백오프로 여러 번 재시도합니다.

    재시도 기간이 만료되면 Firehose는 구성된 S3 오류 버킷인 Dead Letter Queue(DLQ)로 데이터를 전송합니다. 로 전송된 데이터의 경우 구성된 S3 오류 버킷에서 OpenSearch 대상으로 데이터를 DLQ다시 구동해야 합니다.

    OpenSearch 클러스터의 가동 중지 또는 유지 관리DLQ로 인해 Firehose 스트림이 로 데이터를 전송하지 못하도록 하려면 재시도 기간을 초 단위로 더 높은 값으로 구성할 수 있습니다. AWS 지원 에 문의하여 재시도 지속 시간 값을 7,200초 이상으로 늘릴 수 있습니다.

    DocumentID 유형

    문서 ID를 설정하는 방법을 표시합니다. 지원되는 메서드는 Firehose 생성 문서 ID와 OpenSearch 서비스 생성 문서 ID입니다. 문서 ID 값이 설정되지 않은 경우 Firehose에서 생성된 문서 ID가 기본 옵션입니다. 로그 분석 및 관찰 가능성을 포함하여 쓰기 작업이 많은 작업을 지원하므로 서비스 도메인에서 CPU 리소스를 적게 소비하여 성능이 향상되므로 OpenSearch 서비스에서 OpenSearch 생성된 문서 ID가 권장되는 옵션입니다.

    대상 VPC 연결

    OpenSearch 서비스 도메인이 프라이빗에 있는 경우이 섹션을 VPC사용하여 해당를 지정합니다VPC. 또한 Amazon Data Firehose가 OpenSearch Service 도메인으로 데이터를 전송할 때 사용할 서브넷 및 하위 그룹도 지정합니다. OpenSearch 서비스 도메인에서 사용하는 것과 동일한 보안 그룹을 사용할 수 있습니다. 다른 보안 그룹을 지정하는 경우 OpenSearch 서비스 도메인의 보안 그룹에 대한 아웃바운드 HTTPS 트래픽을 허용하는지 확인합니다. 또한 OpenSearch 서비스 도메인의 보안 그룹이 Firehose 스트림을 구성할 때 지정한 보안 그룹의 HTTPS 트래픽을 허용하는지 확인합니다. Firehose 스트림과 OpenSearch 서비스 도메인 모두에 동일한 보안 그룹을 사용하는 경우 보안 그룹의 인바운드 규칙이 HTTPS 트래픽을 허용하는지 확인합니다. 보안 그룹 규칙에 대한 자세한 내용은 Amazon VPC 설명서의 보안 그룹 규칙을 참조하세요.

    중요

    프라이빗의 대상으로 데이터를 전송하기 위해 서브넷을 지정할 때는 선택한 서브넷에 충분한 수의 사용 가능한 IP 주소가 있는지 VPC확인합니다. 지정된 서브넷에 사용 가능한 무료 IP 주소가 없는 경우 Firehose는 프라이빗에서 데이터 전송을 ENIs 위해를 생성하거나 추가할 수 없으며 전송VPC이 저하되거나 실패합니다.

    버퍼 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

OpenSearch Serverless의 대상 설정 구성

이 섹션에서는 대상에 OpenSearch Serverless를 사용하는 옵션을 설명합니다.

  • 다음 필드에 값을 입력합니다.

    OpenSearch 서버리스 컬렉션

    데이터가 전달되는 OpenSearch Serverless 인덱스 그룹의 엔드포인트입니다.

    인덱스

    OpenSearch Serverless 컬렉션에 데이터를 인덱싱할 때 사용할 OpenSearch Serverless 인덱스 이름입니다.

    대상 VPC 연결

    OpenSearch Serverless 컬렉션이 프라이빗에 있는 경우이 섹션을 VPC사용하여 해당를 지정합니다VPC. 또한 Amazon Data Firehose가 OpenSearch Serverless 컬렉션으로 데이터를 전송할 때 사용할 서브넷 및 하위 그룹도 지정합니다.

    중요

    프라이빗의 대상으로 데이터를 전송하기 위해 서브넷을 지정할 때는 선택한 서브넷에 충분한 수의 사용 가능한 IP 주소가 있는지 VPC확인합니다. 지정된 서브넷에 사용 가능한 무료 IP 주소가 없는 경우 Firehose는 프라이빗에서 데이터 전송을 ENIs 위해를 생성하거나 추가할 수 없으며 전송VPC이 저하되거나 실패합니다.

    재시도 기간

    OpenSearch Serverless에 대한 인덱스 요청이 실패할 경우 Firehose가 재시도하는 시간입니다. 재시도 기간 동안 0~7,200초 사이의 값을 설정할 수 있습니다. 기본 재시도 기간은 300초입니다. Firehose는 재시도 기간이 만료될 때까지 지수 백오프로 여러 번 재시도합니다.

    재시도 기간이 만료되면 Firehose는 구성된 S3 오류 버킷인 Dead Letter Queue(DLQ)로 데이터를 전송합니다. 로 전송된 데이터의 경우 구성된 S3 오류 버킷에서 OpenSearch Serverless 대상으로 데이터를 다시 구동DLQ해야 합니다.

    OpenSearch 서버리스 클러스터의 가동 중지 또는 유지 관리DLQ로 인해 Firehose 스트림이 로 데이터를 전송하지 못하도록 하려면 재시도 기간을 초 단위로 더 높은 값으로 구성할 수 있습니다. AWS 지원 에 문의하여 재시도 지속 시간 값을 7,200초 이상으로 늘릴 수 있습니다.

    버퍼 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

HTTP 엔드포인트의 대상 설정 구성

이 섹션에서는 대상에 HTTP 엔드포인트를 사용하는 옵션을 설명합니다.

중요

HTTP 엔드포인트를 대상으로 선택하는 경우의 지침을 검토하고 따릅니다HTTP 엔드포인트 전송 요청 및 응답 사양에 대한 이해.

  • 다음 필드에 값을 입력하세요.

    HTTP 엔드포인트 이름 - 선택 사항

    HTTP 엔드포인트의 사용자 친화적 이름을 지정합니다. 예: My HTTP Endpoint Destination.

    HTTP 엔드포인트 URL

    HTTP 엔드포인트의 URL를의 형식으로 지정합니다https://xyz.httpendpoint.com. 는 HTTPS 여야 URL 합니다URL.

    인증

    액세스 키를 직접 입력하거나에서 보안 암호를 검색 AWS Secrets Manager 하여 HTTP 엔드포인트에 액세스하도록 선택할 수 있습니다.

    • (선택 사항) 액세스 키

      필요한 경우 엔드포인트 소유자에게 문의하여 Firehose에서 해당 엔드포인트로 데이터를 전송할 수 있도록 액세스 키를 받으세요(필요한 경우).

    • Secret

      HTTP 엔드포인트의 액세스 키 AWS Secrets Manager 가 포함된 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 액세스 키에 AWS Secrets Manager 대해에서 보안 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose AWS Secrets Manager 에서 로 인증 단원을 참조하십시오.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. GZIP 또는 비활성화를 선택하여 요청의 콘텐츠 인코딩을 활성화/비활성화합니다.

    재시도 기간

    Amazon Data Firehose가 선택한 HTTP 엔드포인트로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후 Amazon Data Firehose는 먼저 HTTP 엔드포인트에서 승인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose가 HTTP 엔드포인트로 데이터를 전송할 때마다(초기 시도 또는 재시도) 승인 제한 시간 카운터를 다시 시작하고 HTTP 엔드포인트에서 승인을 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 페어를 포함합니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

    중요

    HTTP 엔드포인트 대상의 경우 CloudWatch 로그의 대상 엔드포인트에서 413개의 응답 코드가 표시되는 경우 Firehose 스트림에서 버퍼링 힌트 크기를 낮추고 다시 시도하세요.

Datadog의 대상 설정 구성

이 섹션에서는 Datadog를 대상으로 사용하는 옵션에 대해 설명합니다. Datadog에 대한 자세한 내용은 https://docs.datadoghq.com/integrations/amazon_web_services/를 참조하세요.

  • 다음 필드에 값을 입력하세요.

    HTTP 엔드포인트 URL

    드롭다운 메뉴의 다음 옵션 중 하나에서 데이터를 전송할 위치를 선택합니다.

    • Datadog 로그 - US1

    • Datadog 로그 - US3

    • Datadog 로그 - US5

    • Datadog 로그 - AP1

    • Datadog 로그 - EU

    • Datadog 로그 - GOV

    • Datadog 지표 - US

    • Datadog 지표 - US5

    • Datadog 지표 - AP1

    • Datadog 지표 - EU

    • Datadog 구성 - US1

    • Datadog 구성 - US3

    • Datadog 구성 - US5

    • Datadog 구성 - AP1

    • Datadog 구성 - EU

    • Datadog 구성 - 미국 GOV

    인증

    API 키를 직접 입력하거나에서 보안 암호를 검색 AWS Secrets Manager 하여 Datadog에 액세스하도록 선택할 수 있습니다.

    • API 키

      Datadog에 문의하여 Firehose에서이 엔드포인트로 데이터 전송을 활성화하는 데 필요한 API 키를 얻습니다.

    • Secret

      Datadog용 API 키 AWS Secrets Manager 가 포함된 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose AWS Secrets Manager 에서 로 인증 단원을 참조하십시오.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. GZIP 또는 비활성화를 선택하여 요청의 콘텐츠 인코딩을 활성화/비활성화합니다.

    재시도 기간

    Amazon Data Firehose가 선택한 HTTP 엔드포인트로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후 Amazon Data Firehose는 먼저 HTTP 엔드포인트에서 승인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose가 HTTP 엔드포인트로 데이터를 전송할 때마다(초기 시도 또는 재시도) 승인 제한 시간 카운터를 다시 시작하고 HTTP 엔드포인트에서 승인을 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 페어를 포함합니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

Honeycomb의 대상 설정 구성

이 섹션에서는 Honeycomb을 대상으로 사용하는 옵션에 대해 설명합니다. Honeycomb에 대한 자세한 내용은 https://docs.honeycomb.io/getting-data-in/metrics/aws-cloudwatch-metrics/ 단원을 참조하십시오.

  • 다음 필드에 값을 입력하세요.

    Honeycomb Kinesis 엔드포인트

    HTTP 엔드포인트의 URL를 https://api.honeycomb.io/1/kinesis_events/{{dataset}} 형식으로 지정합니다.

    인증

    API 키를 직접 입력하거나에서 보안 암호를 검색 AWS Secrets Manager 하여 Honeycomb에 액세스하도록 선택할 수 있습니다.

    • API 키

      Honeycomb에 문의하여 Firehose에서이 엔드포인트로 데이터 전송을 활성화하는 데 필요한 API 키를 받습니다.

    • Secret

      Honeycomb용 API 키 AWS Secrets Manager 가 포함된 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose AWS Secrets Manager 에서 로 인증 단원을 참조하십시오.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. 요청의 콘텐츠 인코딩을 활성화GZIP하려면 선택합니다. 이 옵션은 Honeycomb 대상인 경우에 권장됩니다.

    재시도 기간

    Amazon Data Firehose가 선택한 HTTP 엔드포인트로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후 Amazon Data Firehose는 먼저 HTTP 엔드포인트에서 승인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose가 HTTP 엔드포인트로 데이터를 전송할 때마다(초기 시도 또는 재시도) 승인 제한 시간 카운터를 다시 시작하고 HTTP 엔드포인트에서 승인을 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 페어를 포함합니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

Coralogix의 대상 설정 구성

이 섹션에서는 Coralogix를 대상으로 사용하는 옵션에 대해 설명합니다. Coralogix에 대한 자세한 내용은 Coralogix 시작하기를 참조하세요.

  • 다음 필드에 값을 입력하세요.

    HTTP 엔드포인트 URL

    드롭다운 메뉴의 다음 옵션URL에서 HTTP 엔드포인트를 선택합니다.

    • Coralogix - US

    • Coralogix - SINGAPORE

    • Coralogix - IRELAND

    • Coralogix - INDIA

    • Coralogix - STOCKHOLM

    인증

    프라이빗 키를 직접 입력하거나에서 보안 암호를 검색 AWS Secrets Manager 하여 Coralogix에 액세스하도록 선택할 수 있습니다.

    • 프라이빗 키

      Coralogix에 문의하여 Firehose에서 이 엔드포인트로 데이터를 전송하는 데 필요한 프라이빗 키를 받으세요.

    • Secret

      Coralogix의 프라이빗 키 AWS Secrets Manager 가 포함된 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose AWS Secrets Manager 에서 로 인증 단원을 참조하십시오.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. 요청의 콘텐츠 인코딩을 활성화GZIP하려면 선택합니다. 이 옵션은 Coralogix 대상인 경우에 권장됩니다.

    재시도 기간

    Amazon Data Firehose가 선택한 HTTP 엔드포인트로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후 Amazon Data Firehose는 먼저 HTTP 엔드포인트에서 승인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose가 HTTP 엔드포인트로 데이터를 전송할 때마다(초기 시도 또는 재시도) 승인 제한 시간 카운터를 다시 시작하고 HTTP 엔드포인트에서 승인을 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 페어를 포함합니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    • applicationName: Data Firehose를 실행하는 환경

    • subsystemName: Data Firehose 통합의 이름

    • computerName: 사용 중인 Firehose 스트림의 이름

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상에 대한 권장 버퍼 크기는 서비스 제공업체에 따라 다릅니다.

Dynatrace의 대상 설정 구성

이 섹션에서는 Dynatrace를 대상으로 사용하는 옵션에 대해 설명합니다. 자세한 내용은 https://www.dynatrace.com/support/help/technology-support/cloud-platforms/amazon-web-services/integrations/cloudwatch-metric-streams/를 참조하세요.

  • Dynatrace를 Firehose 스트림의 대상으로 사용할 옵션을 선택합니다.

    수집 유형

    추가 분석 및 처리를 위해 Dynatrace에서 지표 또는 로그(기본값) 중 어떤 것을 제공할지를 선택합니다.

    HTTP 엔드포인트 URL

    드롭다운 메뉴에서 HTTP 엔드포인트URL(Dynatrace US, Dynatrace EU 또는 Dynatrace Global)를 선택합니다.

    인증

    API 토큰을 직접 입력하거나에서 보안 암호를 검색 AWS Secrets Manager 하여 Dynatrace에 액세스하도록 선택할 수 있습니다.

    API URL

    Dynatrace 환경APIURL의를 제공합니다.

    콘텐츠 인코딩

    콘텐츠 인코딩을 활성화하여 요청 본문을 압축할지 여부를 선택합니다. Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. 활성화되면 압축된 콘텐츠가 GZIP 형식으로 표시됩니다.

    재시도 기간

    Firehose가 선택한 HTTP 엔드포인트로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후 Firehose는 먼저 HTTP 엔드포인트에서 승인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Firehose는 재시도 지속시간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Firehose가 초기 시도 중 또는 재시도 후 HTTP 엔드포인트로 데이터를 전송할 때마다 승인 제한 시간 카운터를 다시 시작하고 HTTP 엔드포인트에서 승인을 기다립니다.

    재시도 지속시간이 만료된 경우에도 Firehose는 확인을 수신하거나 확인 시간 제한 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과하는 경우 Firehose는 재시도 카운터에 시간이 남아 있는지 알아봅니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 페어를 포함합니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 버퍼 힌트에는 스트림의 버퍼 크기와 간격이 포함됩니다. 대상에 대한 권장 버퍼 크기는 서비스 제공업체에 따라 다릅니다.

에 대한 대상 설정 구성 LogicMonitor

이 섹션에서는 LogicMonitor를 대상으로 사용하는 옵션에 대해 설명합니다. 자세한 내용은 https://www.logicmonitor.com 단원을 참조하십시오.

  • 다음 필드에 값을 입력하세요.

    HTTP 엔드포인트 URL

    HTTP 엔드포인트의 URL를 다음 형식으로 지정합니다.

    https://ACCOUNT.logicmonitor.com
    인증

    API 키를 직접 입력하거나에서 보안 암호를 검색 AWS Secrets Manager 하여 액세스할 수 있습니다 LogicMonitor.

    • API 키

      Firehose에서이 엔드포인트로 데이터 전송을 활성화하는 데 필요한 API 키를 얻으려면 LogicMonitor 에 문의하십시오.

    • Secret

      의 API 키 AWS Secrets Manager 가 포함된 보안 암호를 선택합니다 LogicMonitor. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose AWS Secrets Manager 에서 로 인증 단원을 참조하십시오.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. GZIP 또는 비활성화를 선택하여 요청의 콘텐츠 인코딩을 활성화/비활성화합니다.

    재시도 기간

    Amazon Data Firehose가 선택한 HTTP 엔드포인트로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후 Amazon Data Firehose는 먼저 HTTP 엔드포인트에서 승인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose가 HTTP 엔드포인트로 데이터를 전송할 때마다(초기 시도 또는 재시도) 승인 제한 시간 카운터를 다시 시작하고 HTTP 엔드포인트에서 승인을 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 페어를 포함합니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

Logz.io 대상 설정 구성

이 섹션에서는 Logz.io를 대상으로 사용하는 옵션에 대해 설명합니다. 자세한 내용은 https://logz.io/를 참조하세요.

참고

유럽(밀라노) 리전에서는 Logz.io가 Amazon Data Firehose 대상으로 지원되지 않습니다.

  • 다음 필드에 값을 입력하세요.

    HTTP 엔드포인트 URL

    HTTP 엔드포인트의 URL를 다음 형식으로 지정합니다. 는 HTTPS 여야 URL 합니다URL.

    https://listener-aws-metrics-stream-<region>.logz.io/

    https://listener-aws-metrics-stream-us.logz.io/
    인증

    배송 토큰을 직접 입력하거나에서 보안 암호를 검색 AWS Secrets Manager 하여 Logz.io 액세스할 수 있습니다.

    • 배송 토큰

      Firehose에서 이 엔드포인트로 데이터 전송을 활성화하는 데 필요한 배송 토큰을 얻으려면 Logz.io에 문의하세요.

    • Secret

      Logz.io 발송 토큰 AWS Secrets Manager 이 포함된 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose AWS Secrets Manager 에서 로 인증 단원을 참조하십시오.

    재시도 기간

    Amazon Data Firehose가 Logz.io로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후 Amazon Data Firehose는 먼저 HTTP 엔드포인트에서 승인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose가 HTTP 엔드포인트로 데이터를 전송할 때마다(초기 시도 또는 재시도) 승인 제한 시간 카운터를 다시 시작하고 HTTP 엔드포인트에서 승인을 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 페어를 포함합니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

MongoDB Cloud의 대상 설정 구성

이 섹션에서는 MongoDB Cloud를 대상으로 사용하는 옵션에 대해 설명합니다. 자세한 내용은 https://www.mongodb.com 단원을 참조하십시오.

  • 다음 필드에 값을 입력하세요.

    MongoDB Realm 웹후크 URL

    HTTP 엔드포인트의 URL를 다음 형식으로 지정합니다.

    https://webhooks.mongodb-realm.com

    HTTPS 여야 URL 합니다URL.

    인증

    API 키를 직접 입력하거나에서 보안 암호를 검색 AWS Secrets Manager 하여 MongoDB 클라우드에 액세스하도록 선택할 수 있습니다.

    • API 키

      MongoDB Cloud에 문의하여 Firehose에서이 엔드포인트로 데이터 전송을 활성화하는 데 필요한 API 키를 받습니다.

    • Secret

      MongoDB Cloud의 API 키 AWS Secrets Manager 가 포함된 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose AWS Secrets Manager 에서 로 인증 단원을 참조하십시오.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. GZIP 또는 비활성화를 선택하여 요청의 콘텐츠 인코딩을 활성화/비활성화합니다.

    재시도 기간

    Amazon Data Firehose가 선택된 타사 공급자로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후 Amazon Data Firehose는 먼저 HTTP 엔드포인트에서 승인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose가 HTTP 엔드포인트로 데이터를 전송할 때마다(초기 시도 또는 재시도) 승인 제한 시간 카운터를 다시 시작하고 HTTP 엔드포인트에서 승인을 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 페어를 포함합니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

새 복제본의 대상 설정 구성

이 섹션에서는 New Relic을 대상으로 사용하는 옵션에 대해 설명합니다. 자세한 내용은 https://newrelic.com 단원을 참조하십시오.

  • 다음 필드에 값을 입력하세요.

    HTTP 엔드포인트 URL

    드롭다운 목록의 다음 옵션URL에서 HTTP 엔드포인트를 선택합니다.

    • New Relic 로그 - US

    • New Relic 지표 - US

    • New Relic 지표 - EU

    인증

    API 키를 직접 입력하거나에서 보안 암호를 검색 AWS Secrets Manager 하여 New Relic에 액세스하도록 선택할 수 있습니다.

    • API 키

      New Relic One Account 설정에서 40자 16진수 문자열의 라이선스 키를 입력합니다. Firehose에서이 엔드포인트로 데이터 전송을 활성화하려면이 API 키가 필요합니다.

    • Secret

      New Relic의 API 키 AWS Secrets Manager 가 포함된 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose AWS Secrets Manager 에서 로 인증 단원을 참조하십시오.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. GZIP 또는 비활성화를 선택하여 요청의 콘텐츠 인코딩을 활성화/비활성화합니다.

    재시도 기간

    Amazon Data Firehose가 New Relic HTTP 엔드포인트로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후 Amazon Data Firehose는 먼저 HTTP 엔드포인트에서 승인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose가 HTTP 엔드포인트로 데이터를 전송할 때마다(초기 시도 또는 재시도) 승인 제한 시간 카운터를 다시 시작하고 HTTP 엔드포인트에서 승인을 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 페어를 포함합니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

Snowflake의 대상 설정 구성

이 섹션에서는 Snowflake를 대상으로 사용하는 옵션에 대해 설명합니다.

참고

Snowflake와의 Firehose 통합은 미국 동부(버지니아 북부), 미국 서부(오레곤), 유럽(아일랜드), 미국 동부(오하이오), 아시아 태평양(도쿄), 유럽(프랑크푸르트), 아시아 태평양(싱가포르), 아시아 태평양(서울), 아시아 태평양(시드니), 아시아 태평양(뭄바이), 유럽(런던), 남아메리카(상파울루), 캐나다(중부), 유럽(파리), 아시아 태평양(오사카), 유럽(스톡홀름), 아시아 태평양(자카르타)에서 사용할 수 있습니다 AWS 리전.

연결 설정
  • 다음 필드에 값을 입력하세요.

    Snowflake 계정 URL

    Snowflake 계정을 지정합니다URL. 예: xy12345.us-east-1.aws.snowflakecomputing.com. 계정 확인 방법은 Snowflake 설명서를 참조하세요URL. 포트 번호를 지정해서는 안 되지만 프로토콜(https://)은 선택 사항입니다.

    인증

    사용자 로그인, 프라이빗 키 및 암호문을 수동으로 입력하거나에서 보안 암호를 검색 AWS Secrets Manager 하여 Snowflake에 액세스할 수 있습니다.

    • 사용자 로그인

      데이터 로드에 사용할 Snowflake 사용자를 지정합니다. 사용자가 Snowflake 테이블에 데이터를 삽입할 수 있는 액세스 권한이 있는지 확인합니다.

    • 프라이빗 키

      Snowflake를 사용하여 인증할 프라이빗 키를 PKCS8 형식으로 지정합니다. 또한 PEM 헤더와 바닥글을 프라이빗 키의 일부로 포함하지 마십시오. 키가 여러 줄로 분할된 경우 줄 바꿈을 제거합니다. 다음은 프라이빗 키의 예입니다.

      -----BEGIN PRIVATE KEY----- KEY_CONTENT -----END PRIVATE KEY-----

      KEY_CONTENT에서 공백을 제거하고 Firehose에 제공합니다. 헤더/바닥글 또는 새 줄 문자는 필요하지 않습니다.

    • 암호

      암호화된 프라이빗 키를 복호화할 암호를 지정합니다. 프라이빗 키가 암호화되지 않은 경우 이 필드를 비워 둘 수 있습니다. 자세한 내용은 키 페어 인증 및 키 교체 사용을 참조하세요.

    • Secret

      Snowflake의 보안 인증 AWS Secrets Manager 정보가 포함된 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose AWS Secrets Manager 에서 로 인증 단원을 참조하십시오.

    역할 구성

    기본 Snowflake 역할 사용 - 이 옵션을 선택하면 Firehose는 Snowflake에 역할을 전달하지 않습니다. 기본 역할은 데이터를 로드하는 것으로 간주됩니다. 기본 역할에 Snowflake 테이블에 데이터를 삽입할 수 있는 권한이 있는지 확인하세요.

    사용자 지정 Snowflake 역할 사용 - Snowflake 테이블에 데이터를 로드할 때 Firehose가 수임할 기본이 아닌 Snowflake 역할을 입력합니다.

    Snowflake 연결성

    옵션은 프라이빗 또는 퍼블릭입니다.

    프라이빗 VPCE ID(선택 사항)

    Firehose가 Snowflake와 비공개로 연결할 수 있는 VPCE ID입니다. ID 형식은 com.amazonaws.vpce.[region].vpce-svc-입니다[id]. 자세한 내용은 AWS PrivateLink & Snowflake를 참조하세요.

    참고

    Snowflake 클러스터가 프라이빗 링크가 활성화된 경우 AwsVpceIds 기반 네트워크 정책을 사용하여 Amazon Data Firehose 데이터를 허용합니다. Firehose는 Snowflake 계정에서 IP 기반 네트워크 정책을 구성할 필요가 없습니다. IP 기반 네트워크 정책이 활성화되면 Firehose 연결이 중단될 수 있습니다. IP 기반 정책이 필요한 엣지 사례가 있는 경우 지원 티켓을 제출하여 Firehose 팀에 문의하세요. 사용할 수 VPCE IDs 있는의 목록은 섹션을 참조하세요에서 Snowflake에 액세스 VPC.

데이터베이스 구성
  • Firehose 스트림의 대상으로 Snowflake를 사용하려면 다음 설정을 지정해야 합니다.

    • Snowflake 데이터베이스 - Snowflake의 모든 데이터는 데이터베이스에 유지됩니다.

    • Snowflake 스키마 - 각 데이터베이스는 테이블 및 뷰와 같은 데이터베이스 객체의 논리적 그룹화인 하나 이상의 스키마로 구성됩니다.

    • Snowflake 테이블 - Snowflake의 모든 데이터는 데이터베이스 테이블에 저장되며, 열 및 행 모음으로 논리적으로 구성됩니다.

Snowflake 테이블의 데이터 로드 옵션

  • JSON 키를 열 이름으로 사용

  • VARIANT 열 사용

    • 콘텐츠 열 이름 - 원시 데이터를 로드해야 하는 테이블의 열 이름을 지정합니다.

    • 메타데이터 열 이름(선택 사항) - 메타데이터 정보를 로드해야 하는 테이블에서 열 이름을 지정합니다. 이 필드를 활성화하면 소스 유형에 따라 Snowflake 테이블에 다음 열이 표시됩니다.

      Direct PUT as source의 경우

      { "firehoseDeliveryStreamName" : "streamname", "IngestionTime" : "timestamp" }

      Kinesis Data Stream을 소스로 사용

      { "kinesisStreamName" : "streamname", "kinesisShardId" : "Id", "kinesisPartitionKey" : "key", "kinesisSequenceNumber" : "1234", "subsequenceNumber" : "2334", "IngestionTime" : "timestamp" }

재시도 기간

Snowflake 서비스 문제로 인해 채널 열기 또는 Snowflake로의 전송에 실패하는 경우 Firehose가 재시도하는 시간(0~7,200초). 재시도 기간이 끝날 때까지 지수 백오프를 사용하여 Firehose 재시도합니다. 재시도 기간을 0(영)초로 설정하면 Firehose는 Snowflake 실패 시 재시도하지 않고 데이터를 Amazon S3 오류 버킷으로 라우팅합니다.

버퍼 힌트

Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다. 자세한 내용은 버퍼링 힌트 구성 섹션을 참조하세요.

Splunk의 대상 설정 구성

이 섹션에서는 Splunk를 대상으로 사용하는 옵션에 대해 설명합니다.

참고

Firehose는 Classic Load Balancer 또는 Application Load Balancer 로 구성된 Splunk 클러스터에 데이터를 전송합니다.

  • 다음 필드에 값을 입력하세요.

    Splunk 클러스터 엔드포인트

    엔드포인트를 확인하려면 Splunk 설명서에서 데이터를 Splunk 플랫폼으로 전송하도록 Amazon Data Firehose 구성을 참조하세요.

    Splunk 엔드포인트 유형

    대부분의 경우 Raw endpoint를 선택합니다. 를 사용하여 데이터를 사전 처리 AWS Lambda 하여 이벤트 유형별로 다른 인덱스로 데이터를 전송Event endpoint했는지 선택합니다. 사용할 엔드포인트에 대한 세부 정보는 Splunk 설명서에서 데이터를 Splunk 플랫폼으로 전송하도록 Amazon Data Firehose 구성 섹션을 참조하세요.

    인증

    인증 토큰을 직접 입력하거나에서 보안 암호를 검색 AWS Secrets Manager 하여 Splunk에 액세스할 수 있습니다.

    • 인증 토큰

      Amazon Data Firehose에서 데이터를 수신할 수 있는 Splunk 엔드포인트를 설정하려면 Splunk 설명서에서 Splunk Add-on for Amazon Data Firehose 설치 및 구성 개요를 참조하세요. 이번 Firehose 스트림에 대한 엔드포인트를 설정할 때 Splunk로부터 받은 토큰을 저장한 다음 여기에 추가합니다.

    • Secret

      Splunk용 인증 토큰이 AWS Secrets Manager 포함된 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose AWS Secrets Manager 에서 로 인증 단원을 참조하십시오.

    HEC 승인 제한 시간

    Amazon Data Firehose가 Splunk에서 보내는 인덱스 확인을 기다리는 시간을 지정합니다. 제한 시간에 도달하기 전에 Splunk가 확인을 보내지 않으면 Amazon Data Firehose는 이를 데이터 전송 실패로 간주합니다. 그러면 Amazon Data Firehose는 설정한 재시도 기간 값에 따라 재시도하거나 Amazon S3 버킷에 데이터를 백업합니다.

    재시도 기간

    Amazon Data Firehose가 Splunk로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후, Amazon Data Firehose는 먼저 Splunk의 확인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose는 Splunk로 데이터를 보낼 때마다(최초 시도이든 재시도이든) 확인 제한 시간 카운터를 시작하고 Splunk의 확인 메시지를 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상에 대한 권장 버퍼 크기는 서비스 제공업체에 따라 다릅니다.

Splunk Observability Cloud의 대상 설정 구성

이 섹션에서는 Splunk Observability Cloud를 대상으로 사용하는 옵션에 대해 설명합니다. 자세한 내용은 https://docs.splunk.com/observability/en/gdi/get-data-in/connect/aws/aws-apiconfig.html#connect-to-aws-using-the-splunk-observability-cloud-api를 참조하세요.

  • 다음 필드에 값을 입력하세요.

    Cloud Ingest 엔드포인트 URL

    Splunk Observability 콘솔의 프로파일 > 조직 > 실시간 데이터 수집 엔드포인트URL에서 Splunk Observability Cloud의 실시간 데이터 수집을 찾을 수 있습니다.

    인증

    액세스 토큰을 직접 입력하거나에서 보안 암호를 검색 AWS Secrets Manager 하여 Splunk Observability Cloud에 액세스하도록 선택할 수 있습니다.

    • 액세스 토큰

      Splunk Observability 콘솔의 설정에서 액세스 토큰의 INGEST 권한 부여 범위를 사용하여 Splunk Observability 액세스 토큰을 복사합니다.

    • Secret

      Splunk Observability Cloud에 대한 액세스 토큰 AWS Secrets Manager 이 포함된 보안 암호를에서 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose AWS Secrets Manager 에서 로 인증 단원을 참조하십시오.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. GZIP 또는 비활성화를 선택하여 요청의 콘텐츠 인코딩을 활성화/비활성화합니다.

    재시도 기간

    Amazon Data Firehose가 선택한 HTTP 엔드포인트로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후 Amazon Data Firehose는 먼저 HTTP 엔드포인트에서 승인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose가 HTTP 엔드포인트로 데이터를 전송할 때마다(초기 시도 또는 재시도) 승인 제한 시간 카운터를 다시 시작하고 HTTP 엔드포인트에서 승인을 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 페어를 포함합니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

Sumo Logic의 대상 설정 구성

이 섹션에서는 Sumo Logic을 대상으로 사용하는 옵션에 대해 설명합니다. 자세한 내용은 https://www.sumologic.com 단원을 참조하십시오.

  • 다음 필드에 값을 입력하세요.

    HTTP 엔드포인트 URL

    HTTP 엔드포인트의 URL를의 형식으로 지정합니다https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token. 는 HTTPS 여야 URL 합니다URL.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. GZIP 또는 비활성화를 선택하여 요청의 콘텐츠 인코딩을 활성화/비활성화합니다.

    재시도 기간

    Amazon Data Firehose가 Sumo Logic으로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후 Amazon Data Firehose는 먼저 HTTP 엔드포인트에서 승인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose가 HTTP 엔드포인트로 데이터를 전송할 때마다(초기 시도 또는 재시도) 승인 제한 시간 카운터를 다시 시작하고 HTTP 엔드포인트에서 승인을 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 페어를 포함합니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. Elastic 대상의 권장 버퍼 크기는 서비스 공급자마다 다릅니다.

Elastic의 대상 설정 구성

이 섹션에서는 Elastic을 대상으로 사용하는 옵션에 대해 설명합니다.

  • 다음 필드에 값을 입력하세요.

    탄력적 엔드포인트 URL

    HTTP 엔드포인트의 URL를의 형식으로 지정합니다https://<cluster-id>.es.<region>.aws.elastic-cloud.com. 는 HTTPS 여야 URL 합니다URL.

    인증

    API 키를 직접 입력하거나에서 보안 암호를 검색 AWS Secrets Manager 하여 Elastic에 액세스하도록 선택할 수 있습니다.

    • API 키

      Firehose에서 서비스로 데이터를 전송하는 데 필요한 API 키를 얻으려면 Elastic에 문의하세요.

    • Secret

      Elastic의 API 키 AWS Secrets Manager 가 포함된 보안 암호를 선택합니다. 드롭다운 목록에 보안 암호가 표시되지 않으면 AWS Secrets Manager에서 암호를 생성합니다. 자세한 내용은 Amazon Data Firehose AWS Secrets Manager 에서 로 인증 단원을 참조하십시오.

    콘텐츠 인코딩

    Amazon Data Firehose는 요청을 대상으로 전송하기 전에 콘텐츠 인코딩을 사용하여 요청 본문을 압축합니다. 요청의 콘텐츠 인코딩을 활성화/비활성화하려면 GZIP (기본적으로 선택한 항목) 또는 비활성화를 선택합니다.

    재시도 기간

    Amazon Data Firehose가 Elastic으로 데이터 전송을 재시도하는 시간을 지정합니다.

    데이터를 전송한 후 Amazon Data Firehose는 먼저 HTTP 엔드포인트에서 승인을 기다립니다. 오류가 발생하거나 확인 제한 시간 내에 확인 메시지가 도착하지 않을 경우, Amazon Data Firehose는 재시도 기간 카운터를 시작합니다. 재시도 지속시간이 만료될 때까지 재시도합니다. 그 다음 Amazon Data Firehose는 이를 데이터 전송 실패로 간주하고 데이터를 Amazon S3 버킷에 백업합니다.

    Amazon Data Firehose가 HTTP 엔드포인트로 데이터를 전송할 때마다(초기 시도 또는 재시도) 승인 제한 시간 카운터를 다시 시작하고 HTTP 엔드포인트에서 승인을 기다립니다.

    재시도 기간이 만료되어도, Amazon Data Firehose는 확인을 수신하거나 확인 제한 시간 기간에 도달할 때까지 확인을 기다립니다. 확인 시간이 초과한 경우 Amazon Data Firehose는 재시도 카운터에 시간이 남아 있는지 확인합니다. 시간이 남은 경우 다시 시도하여 확인을 수신하거나 재시도 시간이 만료되었는지 확인할 때까지 논리를 반복합니다.

    Amazon Data Firehose가 데이터 전송을 재시도하지 않도록 하려면 이 값을 0으로 설정합니다.

    파라미터 - 옵션

    Amazon Data Firehose는 각 HTTP 호출에 이러한 키-값 페어를 포함합니다. 이 파라미터를 사용하면 대상을 식별하고 구성하는 데 도움이 됩니다.

    버퍼링 힌트

    Amazon Data Firehose는 수신 데이터를 지정된 대상으로 전송하기 전에 이를 버퍼링합니다. Elastic 대상의 권장 버퍼 크기는 1MiB입니다.