AWS Glue의 Amazon Q 데이터 통합
AWS Glue의 Amazon Q 데이터 통합은 AWS Glue의 새로운 생성형 AI 기능으로, 데이터 엔지니어와 ETL 개발자가 자연어를 사용하여 데이터 통합 작업을 구축할 수 있도록 지원합니다. 엔지니어와 개발자는 Amazon Q에 작업 작성과 문제 해결을 요청하거나 AWS Glue 및 데이터 통합에 관해 질문할 수 있습니다.
Amazon Q란 무엇인가요?
참고
Amazon Bedrock 제공: AWS는 자동 침해 탐지 기능을 구현합니다. Amazon Q 데이터 통합은 Amazon Bedrock을 기반으로 구축되었으므로 사용자는 Amazon Bedrock에 구현된 제어 기능을 최대한 활용하여 안전, 보안, 인공 지능(AI)의 책임 있는 사용을 강화할 수 있습니다.
Amazon Q는 AWS 애플리케이션을 이해하고, 구축하고, 확장하고, 운영하는 데 도움을 줄 수 있는 생성형 인공 지능(AI) 기반 대화형 어시스턴트입니다. Amazon Q가 기반으로 하는 모델은 고품질 AWS 콘텐츠로 보강되어 보다 완전하고 실행 가능하며 참조할 수 있는 답변을 제공하여 AWS에서의 구축 속도를 높일 수 있습니다. 자세한 내용은 What is Amazon Q?를 참조하세요.
AWS Glue의 Amazon Q 데이터 통합이란 무엇인가요?
AWS Glue의 Amazon Q 데이터 통합에는 다음과 같은 기능이 포함되어 있습니다.
채팅 - AWS Glue의 Amazon Q 데이터 통합은 AWS Glue 및 AWS Glue 소스 및 대상 커넥터, AWS Glue ETL 작업, 데이터 카탈로그, 크롤러 및 AWS Lake Formation, 기타 기능 설명서 및 모범 사례와 같은 데이터 통합 도메인에 대한 자연어 질문에 영어로 답변할 수 있습니다. AWS Glue의 Amazon Q 데이터 통합은 단계별 지침과 함께 응답하며 정보 소스에 대한 참조가 포함되어 있습니다.
데이터 통합 코드 생성 - AWS Glue의 Amazon Q 데이터 통합은 AWS Glue ETL 스크립트에 대한 질문에 답변하고 영어로 된 자연어 질문이 주어지면 새로운 코드를 생성할 수 있습니다.
문제 해결 - AWS Glue의 Amazon Q 데이터 통합은 AWS Glue 작업의 오류를 이해하는 데 도움이 되도록 특별히 설계되었으며 문제의 근본 원인 및 해결을 위한 단계별 지침을 제공합니다.
참고
AWS Glue의 Amazon Q 데이터 통합은 대화가 진행되는 동안 향후 응답에 정보를 제공하기 위해 대화의 컨텍스트를 사용하지 않습니다. AWS Glue의 Amazon Q 데이터 통합에 관한 각 대화는 이전 대화 또는 향후 대화와 무관합니다.
AWS Glue의 Amazon Q 데이터 통합을 사용 중이신가요?
Amazon Q 패널에서 AWS Glue ETL 스크립트에 대한 Amazon Q 코드 생성을 요청하거나 AWS Glue 기능 또는 오류 해결에 대한 질문에 답변할 수 있습니다. 응답은 스크립트를 사용자 지정하고, 검토하고, 실행하는 단계별 지침이 포함된 PySpark의 ETL 스크립트입니다. 질문의 경우 데이터 통합 지식을 기반으로 답변이 생성되며, 답변에는 참조할 수 있는 요약 및 소스 URL이 포함되어 있습니다.
예를 들어 Amazon Q에 'Snowflake에서 읽고 필드 이름을 변경하며 Redshift에 쓰는 Glue 스크립트를 제공하세요'를 요청하고, 이에 대한 응답으로 AWS Glue의 Amazon Q 데이터 통합은 요청된 작업을 수행할 수 있는 AWS Glue 작업 스크립트를 반환합니다. 생성된 코드를 검토하여 요청된 의도를 충족하는지 확인할 수 있습니다. 만족스럽다면 프로덕션에서 AWS Glue 작업으로 배포할 수 있습니다. 통합 기능에 오류와 실패를 설명하고 해결책을 제안하도록 요청하여 작업 문제를 해결할 수 있습니다. Amazon Q는 AWS Glue 또는 데이터 통합 모범 사례에 대한 질문에 대한 답변을 제공합니다.
다음은 AWS Glue의 Amazon Q 데이터 통합이 AWS Glue를 구축하는 데 어떻게 도움이 되는지 보여주는 예제 질문입니다.
AWS Glue ETL 코드 생성:
S3에서 JSON을 읽고, 매핑 적용을 사용하여 필드를 변환하고, Amazon Redshift에 쓰는 AWS Glue 스크립트를 작성합니다.
DynamoDB에서 읽고, DropNullFields 변환을 적용하고, S3에 Parquet으로 쓰기 위한 AWS Glue 스크립트를 작성하려면 어떻게 해야 하나요?
MySQL에서 읽고, 비즈니스 로직을 기반으로 일부 필드를 삭제하고, Snowflake에 쓰는 AWS Glue 스크립트를 알려주세요.
DynamoDB에서 읽고 S3에 JSON으로 쓸 AWS Glue 작업을 작성합니다.
S3에 대한 AWS Glue 데이터 카탈로그용 AWS Glue 스크립트를 개발하도록 도와주세요.
S3에서 JSON을 읽고, null을 삭제하고, Redshift에 쓰는 AWS Glue 작업을 작성합니다.
AWS Glue 기능 설명:
AWS Glue Data Quality는 어떻게 사용하나요?
AWS Glue 작업 북마크는 어떻게 사용하나요?
AWS Glue Auto Scaling을 어떻게 활성화하나요?
AWS Glue 동적 프레임과 Spark 데이터 프레임의 차이점은 무엇인가요?
AWS Glue에서 지원하는 다양한 연결 유형에는 어떤 것이 있나요?
AWS Glue 문제 해결:
AWS Glue 작업 시 발생하는 메모리 부족(OOM) 오류를 해결하는 방법은 무엇인가요?
AWS Glue Data Quality를 설정할 때 표시될 수 있는 오류 메시지에는 어떤 것이 있으며 어떻게 해결할 수 있나요?
Amazon S3 액세스 거부 오류가 발생한 AWS Glue 작업은 어떻게 수정하나요?
AWS Glue 작업의 데이터 셔플 문제를 해결하려면 어떻게 하나요?
Amazon Q 데이터 통합과의 상호 작용 모범 사례
다음은 Amazon Q 데이터 통합과의 상호 작용 모범 사례입니다.
Amazon Q 데이터 통합과 상호 작용할 경우 구체적인 질문을 하고, 복잡한 요청이 있으면 반복하며, 답변이 정확한지 검증합니다.
자연어로 데이터 통합 프롬프트를 제공할 때는 도우미가 필요한 내용을 정확히 이해할 수 있도록 최대한 구체적으로 작성합니다. 'S3에서 데이터 추출'을 요청하는 대신 'S3에서 JSON 파일을 추출하는 AWS Glue 스크립트 작성'과 같은 자세한 내용을 제공합니다.
생성된 스크립트를 을 실행하기 전에 검토하여 정확성을 확인합니다. 생성된 스크립트에 오류가 있거나 의도와 맞지 않는 경우 도우미에 수정 방법에 대한 지침을 제공합니다.
생성형 AI 기술은 새로운 기술이며 응답에 할루시네이션이라고 하는 실수가 있을 수 있습니다. 환경 또는 워크로드에서 사용하기 전에 오류와 취약성이 있는지 모든 코드를 테스트하고 검토하세요.
AWS Glue 서비스 개선에서 Amazon Q 데이터 통합
AWS Glue의 Amazon Q 데이터 통합이 AWS 서비스에 대한 가장 적절한 정보를 제공하는 데 도움이 되도록, 서비스 개선을 위해 Amazon Q에 묻는 질문 및 해당 응답과 같이 Amazon Q에서 특정 콘텐츠를 사용할 수 있습니다.
사용하는 콘텐츠와 옵트아웃 방법에 대한 자세한 내용은 Amazon Q Developer 사용 설명서의 Amazon Q Developer 서비스 개선을 참조하세요.
고려 사항
AWS Glue의 Amazon Q 데이터 통합을 사용하기 전에 다음 항목을 고려하세요.
현재 코드 생성은 PySpark 커널에서만 작동합니다. 생성된 코드는 Python Spark 기반의 AWS Glue 작업용입니다.
AWS Glue에서 Amazon Q 데이터 통합의 지원되는 코드 생성 기능 조합에 대한 자세한 내용은 지원되는 코드 생성 기능 섹션을 참조하세요.
