本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
中的 Amazon Q 資料整合 AWS Glue
中的 Amazon Q 資料整合 AWS Glue 是 的新生成式 AI 功能 AWS Glue ,可讓資料工程師和ETL開發人員使用自然語言建置資料整合任務。工程師和開發人員可以要求 Amazon Q 撰寫任務、疑難排解問題,並回答有關 AWS Glue 和資料整合的問題。
什麼是 Amazon Q?
注意
採用 Amazon Bedrock 技術: AWS 實作自動濫用偵測。由於 Amazon Q 資料整合是以 Amazon Bedrock 為基礎,因此使用者可以充分利用在 Amazon Bedrock 中實作的控制項,以強制執行安全、安全防護和負責任地使用人工智慧 (AI)。
Amazon Q 是生成式人工智慧 (AI) 支援的對話式助理,可協助您了解、建置、延伸和操作 AWS 應用程式。支援 Amazon Q 的模型已透過高品質 AWS 內容增強,讓您更完整、更可行且更參考的答案,以加速您的建置 AWS。如需詳細資訊,請參閱什麼是 Amazon Q?
AWS Glue中的 Amazon Q 資料整合是什麼?
中的 Amazon Q 資料整合 AWS Glue 包含下列功能:
聊天 – 中的 Amazon Q 資料整合 AWS Glue 可以英文回答有關 AWS Glue 和資料整合網域的自然語言問題,例如 AWS Glue 來源和目的地連接器、 AWS Glue ETL任務、資料目錄 AWS Lake Formation、爬蟲程式和其他功能文件,以及最佳實務。中的 Amazon Q 資料整合會 AWS Glue step-by-step回應說明,並包含其資訊來源的參考。
資料整合程式碼產生 – 中的 Amazon Q 資料整合 AWS Glue 可以回答有關 AWS Glue ETL指令碼的問題,並根據自然語言的英文問題產生新的程式碼。
故障診斷 – 中的 Amazon Q 資料整合 AWS Glue 旨在協助您了解 AWS Glue 任務中的錯誤並提供 step-by-step指示、根本原因和解決問題。
注意
中的 Amazon Q 資料整合 AWS Glue 不會使用對話的內容,在對話期間通知未來的回應。與 中的 Amazon Q 資料整合的每次對話 AWS Glue 都與您先前或未來的對話無關。
是否使用 AWS Glue中的 Amazon Q 資料整合?
在 Amazon Q 面板中,您可以請求 Amazon Q 產生指令碼的 AWS Glue ETL程式碼,或回答有關 AWS Glue 功能或故障診斷錯誤的問題。回應是 中的ETL指令碼 PySpark ,其中包含 step-by-step自訂指令碼、檢閱和執行指令碼的說明。如有疑問,會根據資料整合知識庫產生回應,其中包含摘要和URL參考來源。
例如,您可以要求 Amazon Q 「請提供從 Snowflake 讀取、重新命名欄位和寫入 Redshift 的 Glue 指令碼」,而 中的 Amazon Q 資料整合 AWS Glue 將傳回可執行所請求動作 AWS Glue 的任務指令碼。您可以檢閱產生的程式碼,確保其符合請求的意圖。如果滿足,您可以將它部署為生產中的 AWS Glue 任務。您可以要求整合解釋錯誤和失敗,並提出解決方案,藉此疑難排解作業。Amazon Q 可以回答有關 AWS Glue 或資料整合最佳實務的問題。
以下是示範 中的 Amazon Q 資料整合如何 AWS Glue 協助您建置的範例問題 AWS Glue:
AWS Glue ETL 程式碼產生:
撰寫JSON從 S3 讀取的 AWS Glue 指令碼,使用套用映射轉換欄位,並寫入 Amazon Redshift
如何撰寫從 DynamoDB 讀取的 AWS Glue 指令碼,套用 DropNullFields 轉換並將 寫入 S3 做為 Parquet?
提供從 My 讀取的 AWS Glue 指令碼SQL、根據我的商業邏輯捨棄一些欄位,以及寫入 Snowflake
撰寫 AWS Glue 任務以從 DynamoDB 讀取並寫入 S3 做為 JSON
協助我開發 AWS Glue Data Catalog to S3 的 AWS Glue 指令碼
撰寫 AWS Glue 任務從 JSON S3 讀取、捨棄 null 並寫入 Redshift
AWS Glue 功能說明:
如何使用 AWS Glue 資料品質?
如何使用 AWS Glue 任務書籤?
如何啟用 AWS Glue 自動擴展?
AWS Glue 動態影格和 Spark 資料影格之間的差異是什麼?
支援哪些不同類型的連線 AWS Glue?
AWS Glue 故障診斷:
如何對 AWS Glue 任務上的記憶體不足 (OOM) 錯誤進行故障診斷?
設定 AWS Glue 資料品質時,您可能會看到哪些錯誤訊息,以及如何修正?
如何修正錯誤為 Amazon S3 存取遭拒 AWS Glue 的任務?
如何解決 AWS Glue 任務上資料隨機處理的問題?
與 Amazon Q 資料整合互動的最佳實務
以下是與 Amazon Q 資料整合互動的最佳實務:
與 Amazon Q 資料整合互動時,請提出特定問題、在您提出複雜請求時反覆運算,並驗證答案的準確性。
以自然語言提供資料整合提示時,請盡可能具體,以協助助理確切了解您的需求。與其詢問「從 S3 擷取資料」,而是提供更多詳細資訊,例如「撰寫從 S3 擷取JSON檔案的 AWS Glue 指令碼」。
執行指令碼之前,請先檢閱產生的指令碼,以確保準確性。如果產生的指令碼發生錯誤或不符合您的意圖,請向助理提供如何修正的指示。
生成式 AI 技術是一種新穎的技術,在反應中可能會出現錯誤,有時也稱為幻覺。在您的環境或工作負載中使用之前,請先測試並檢閱所有程式碼是否有錯誤和漏洞。
AWS Glue 服務改善中的 Amazon Q 資料整合
為了協助 中的 Amazon Q 資料整合 AWS Glue 提供 AWS 最相關的資訊,我們可能會使用 Amazon Q 的特定內容,例如您向 Amazon Q 及其回應提出的問題,以改善服務。
如需我們使用哪些內容以及如何選擇退出的詳細資訊,請參閱《Amazon Q 開發人員使用者指南》中的 Amazon Q 開發人員服務改進。
考量事項
使用 AWS Glue中的 Amazon Q 資料整合之前,請考慮下列項目:
目前,程式碼產生僅適用於 PySpark 核心。產生的程式碼適用於以 Python Spark 為基礎的 AWS Glue 任務。
如需 中 Amazon Q 資料整合的程式碼產生能力支援組合的詳細資訊 AWS Glue,請參閱 支援的程式碼產生功能。