구독을 통한 로그 데이터 실시간 처리 - Amazon CloudWatch 로그
개념

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

구독을 통한 로그 데이터 실시간 처리

구독을 사용하여 CloudWatch 로그에서 로그 이벤트의 실시간 피드에 액세스하고 Amazon Kinesis 스트림, Amazon Data Firehose 스트림과 같은 다른 서비스로 전송하거나 AWS Lambda 사용자 지정 처리, 분석 또는 다른 시스템으로 로드할 수 있습니다. 로그 이벤트가 수신 서비스로 전송되면 base64로 인코딩되고 gzip 형식으로 압축됩니다.

로그 이벤트에 대한 구독을 시작하려면 이벤트가 제공되는 수신 소스(예: Kinesis Data Streams 스트림)를 생성합니다. 구독 필터는 AWS 리소스에 전달되는 로그 이벤트를 필터링하는 데 사용할 필터 패턴과 일치하는 로그 이벤트를 보낼 대상에 대한 정보를 정의합니다. 로그 이벤트는 수집 직후, 일반적으로 3분 이내에 수신 리소스로 전송됩니다.

참고

구독이 있는 로그 그룹이 로그 변환을 사용하는 경우 필터 패턴이 로그 이벤트의 변환된 버전과 비교됩니다. 자세한 내용은 수집 중 로그 변환 단원을 참조하십시오.

계정 수준 및 로그 그룹 수준에서 구독을 생성할 수 있습니다. 각 계정에는 계정 수준 구독 필터가 하나 있을 수 있습니다. 각 로그 그룹에는 구독 필터를 최대 2개까지 연결할 수 있습니다.

참고

대상 서비스가 제한 예외 또는 재시도 가능한 서비스 예외(HTTP예: 5xx)와 같은 재시도 가능한 오류를 반환하는 경우 CloudWatch 로그는 최대 24시간 동안 전송을 계속 재시도합니다. AccessDeniedException 또는 같은 재시도할 수 없는 오류인 경우 CloudWatch 로그는 재전송을 시도하지 않습니다 ResourceNotFoundException. 이러한 경우 구독 필터는 최대 10분 동안 비활성화된 다음 CloudWatch 로그는 대상에 로그 전송을 재시도합니다. 이 비활성화된 기간 동안에는 로그를 건너뜁니다.

CloudWatch 또한 로그는 로그 이벤트를 구독으로 전달하는 방법에 대한 CloudWatch 지표를 생성합니다. 자세한 내용은 CloudWatch 지표를 사용한 모니터링 단원을 참조하십시오.

또한 CloudWatch Logs 구독을 사용하여 Amazon OpenSearch Service 클러스터로 로그 데이터를 거의 실시간으로 스트리밍할 수 있습니다. 자세한 내용은 Amazon OpenSearch Service로 CloudWatch 로그 데이터 스트리밍을 참조하세요.

구독은 Standard 로그 클래스의 로그 그룹에서만 지원됩니다. 로그 클래스에 대한 자세한 내용은 로그 클래스를 참조하세요.

참고

구독 필터는 로그 이벤트를 배칭하여 전송을 최적화하고 대상에 대한 직접 호출의 양을 줄일 수 있습니다. 배칭은 보장되지는 않지만 가능하면 사용됩니다.

내용

개념

각 구독 필터는 다음과 같은 키 요소들로 이루어져 있습니다.

필터 패턴

CloudWatch 대상 AWS 리소스에 전달되는 대상을 제한하는 필터링 표현식과 함께 로그가 각 로그 이벤트의 데이터를 해석하는 방법에 대한 심볼 설명입니다. 필터 패턴 구문에 대한 자세한 내용은 지표 필터, 구독 필터, 필터 로그 이벤트 및 Live Tail에 대한 필터 패턴 구문 섹션을 참조하세요.

destination arn

구독 피드의 대상으로 사용할 Kinesis Data Streams 스트림, Firehose 스트림 또는 Lambda 함수의 Amazon 리소스 이름(ARN)입니다.

역할 ARN

선택한 대상에 데이터를 넣을 수 있는 필요한 권한을 CloudWatch Logs에 부여하는 IAM 역할입니다. CloudWatch 로그는 Lambda 함수 자체의 액세스 제어 설정에서 필요한 권한을 얻을 수 있으므로 Lambda 대상에는이 역할이 필요하지 않습니다.

배포

대상이 Amazon Kinesis Data Streams의 스트림일 때 해당 대상으로 로그 데이터를 배포하는 데 사용되는 방법입니다. 기본적으로 로그 스트림에 따라 로그 데이터가 그룹화됩니다. 보다 균등한 배포를 위해 로그 데이터를 무작위로 그룹화할 수 있습니다.

로그 그룹 수준 구독의 경우 다음 키 요소도 포함됩니다.

log_group_name

구독 필터에 연결되는 로그 그룹입니다. 이 로그 그룹에 업로드되는 모든 로그 이벤트는 구독 필터를 따르게 되며, 필터와 일치하는 로그 이벤트는 일치하는 로그 이벤트를 수신하는 대상 서비스로 전송됩니다.

계정 수준 구독의 경우 다음 키 요소도 포함됩니다.

선택 기준

계정 수준 구독 필터가 적용되는 로그 그룹을 선택하는 데 사용되는 기준입니다. 이를 지정하지 않으면 계정 수준 구독 필터가 계정의 모든 로그 그룹에 적용됩니다. 이 필드는 무한 로그 루프를 방지하는 데 사용됩니다. 무한 로그 루프 문제에 대한 자세한 내용은 로그 재귀 방지 섹션을 참조하세요.

선택 기준의 크기 한도는 25KB입니다.