中的 Amazon Q 資料整合 AWS Glue - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

中的 Amazon Q 資料整合 AWS Glue

中的 Amazon Q 資料整合 AWS Glue 是 的新生成式 AI 功能 AWS Glue ,可讓資料工程師和ETL開發人員使用自然語言建置資料整合任務。工程師和開發人員可以要求 Amazon Q 撰寫任務、疑難排解問題,並回答有關 AWS Glue 和資料整合的問題。

什麼是 Amazon Q?

注意

採用 Amazon Bedrock 技術: AWS 實作自動濫用偵測。由於 Amazon Q 資料整合是以 Amazon Bedrock 為基礎,因此使用者可以充分利用在 Amazon Bedrock 中實作的控制項,以強制執行安全、安全防護和負責任地使用人工智慧 (AI)。

Amazon Q 是生成式人工智慧 (AI) 支援的對話式助理,可協助您了解、建置、延伸和操作 AWS 應用程式。支援 Amazon Q 的模型已透過高品質 AWS 內容增強,讓您更完整、更可行且更參考的答案,以加速您的建置 AWS。如需詳細資訊,請參閱什麼是 Amazon Q?

AWS Glue中的 Amazon Q 資料整合是什麼?

中的 Amazon Q 資料整合 AWS Glue 包含下列功能:

  • 聊天 – 中的 Amazon Q 資料整合 AWS Glue 可以英文回答有關 AWS Glue 和資料整合網域的自然語言問題,例如 AWS Glue 來源和目的地連接器、 AWS Glue ETL任務、資料目錄 AWS Lake Formation、爬蟲程式和其他功能文件,以及最佳實務。中的 Amazon Q 資料整合會 AWS Glue step-by-step回應說明,並包含其資訊來源的參考。

  • 資料整合程式碼產生 – 中的 Amazon Q 資料整合 AWS Glue 可以回答有關 AWS Glue ETL指令碼的問題,並根據自然語言的英文問題產生新的程式碼。

  • 故障診斷 – 中的 Amazon Q 資料整合 AWS Glue 旨在協助您了解 AWS Glue 任務中的錯誤並提供 step-by-step指示、根本原因和解決問題。

注意

中的 Amazon Q 資料整合 AWS Glue 不會使用對話的內容,在對話期間通知未來的回應。與 中的 Amazon Q 資料整合的每次對話 AWS Glue 都與您先前或未來的對話無關。

是否使用 AWS Glue中的 Amazon Q 資料整合?

在 Amazon Q 面板中,您可以請求 Amazon Q 產生指令碼的 AWS Glue ETL程式碼,或回答有關 AWS Glue 功能或故障診斷錯誤的問題。回應是 中的ETL指令碼 PySpark ,其中包含 step-by-step自訂指令碼、檢閱和執行指令碼的說明。如有疑問,會根據資料整合知識庫產生回應,其中包含摘要和URL參考來源。

例如,您可以要求 Amazon Q 「請提供從 Snowflake 讀取、重新命名欄位和寫入 Redshift 的 Glue 指令碼」,而 中的 Amazon Q 資料整合 AWS Glue 將傳回可執行所請求動作 AWS Glue 的任務指令碼。您可以檢閱產生的程式碼,確保其符合請求的意圖。如果滿足,您可以將它部署為生產中的 AWS Glue 任務。您可以要求整合解釋錯誤和失敗,並提出解決方案,藉此疑難排解作業。Amazon Q 可以回答有關 AWS Glue 或資料整合最佳實務的問題。

使用 AWS Glue中的 Amazon Q 資料整合的範例。

以下是示範 中的 Amazon Q 資料整合如何 AWS Glue 協助您建置的範例問題 AWS Glue:

AWS Glue ETL 程式碼產生:

  • 撰寫JSON從 S3 讀取的 AWS Glue 指令碼,使用套用映射轉換欄位,並寫入 Amazon Redshift

  • 如何撰寫從 DynamoDB 讀取的 AWS Glue 指令碼,套用 DropNullFields 轉換並將 寫入 S3 做為 Parquet?

  • 提供從 My 讀取的 AWS Glue 指令碼SQL、根據我的商業邏輯捨棄一些欄位,以及寫入 Snowflake

  • 撰寫 AWS Glue 任務以從 DynamoDB 讀取並寫入 S3 做為 JSON

  • 協助我開發 AWS Glue Data Catalog to S3 的 AWS Glue 指令碼

  • 撰寫 AWS Glue 任務從 JSON S3 讀取、捨棄 null 並寫入 Redshift

AWS Glue 功能說明:

  • 如何使用 AWS Glue 資料品質?

  • 如何使用 AWS Glue 任務書籤?

  • 如何啟用 AWS Glue 自動擴展?

  • AWS Glue 動態影格和 Spark 資料影格之間的差異是什麼?

  • 支援哪些不同類型的連線 AWS Glue?

AWS Glue 故障診斷:

  • 如何對 AWS Glue 任務上的記憶體不足 (OOM) 錯誤進行故障診斷?

  • 設定 AWS Glue 資料品質時,您可能會看到哪些錯誤訊息,以及如何修正?

  • 如何修正錯誤為 Amazon S3 存取遭拒 AWS Glue 的任務?

  • 如何解決 AWS Glue 任務上資料隨機處理的問題?

與 Amazon Q 資料整合互動的最佳實務

以下是與 Amazon Q 資料整合互動的最佳實務:

  • 與 Amazon Q 資料整合互動時,請提出特定問題、在您提出複雜請求時反覆運算,並驗證答案的準確性。

  • 以自然語言提供資料整合提示時,請盡可能具體,以協助助理確切了解您的需求。與其詢問「從 S3 擷取資料」,而是提供更多詳細資訊,例如「撰寫從 S3 擷取JSON檔案的 AWS Glue 指令碼」。

  • 執行指令碼之前,請先檢閱產生的指令碼,以確保準確性。如果產生的指令碼發生錯誤或不符合您的意圖,請向助理提供如何修正的指示。

  • 生成式 AI 技術是一種新穎的技術,在反應中可能會出現錯誤,有時也稱為幻覺。在您的環境或工作負載中使用之前,請先測試並檢閱所有程式碼是否有錯誤和漏洞。

AWS Glue 服務改善中的 Amazon Q 資料整合

為了協助 中的 Amazon Q 資料整合 AWS Glue 提供 AWS 最相關的資訊,我們可能會使用 Amazon Q 的特定內容,例如您向 Amazon Q 及其回應提出的問題,以改善服務。

如需我們使用哪些內容以及如何選擇退出的詳細資訊,請參閱《Amazon Q 開發人員使用者指南》中的 Amazon Q 開發人員服務改進

考量事項

使用 AWS Glue中的 Amazon Q 資料整合之前,請考慮下列項目:

  • 目前,程式碼產生僅適用於 PySpark 核心。產生的程式碼適用於以 Python Spark 為基礎的 AWS Glue 任務。

  • 如需 中 Amazon Q 資料整合的程式碼產生能力支援組合的詳細資訊 AWS Glue,請參閱 支援的程式碼產生功能