使用批次操作大量執行物件操作 - Amazon Simple Storage Service

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用批次操作大量執行物件操作

您可以使用 S3 批次作業對 Amazon S3 物件執行大規模的批次作業。S3 批次作業可以對您指定的 Amazon S3 物件清單執行單一作業。單一任務可在包含數 EB 資料的數以億計物件上執行指定的操作。Amazon S3 會追蹤進度、傳送通知,並存放所有動作的詳細完成報告,提供完整受管、可稽核、無伺服器的體驗。您可以透過 Amazon S3 主控台、 AWS CLI AWS SDKs 或 Amazon S3 Word 使用 S3 批次操作API。 Amazon S3 REST

使用 S3 Batch Operations 複製物件並設定物件標籤或存取控制清單 (ACLs)。您也可以起始從 S3 Glacier Flexible Retrieval 還原物件,或叫用 AWS Lambda 函數來使用物件執行自訂動作。您可以對自訂物件清單執行這些操作,也可以使用 Amazon S3 庫存報告輕鬆產生物件清單。Amazon S3 Batch Operations 使用與 Amazon S3 相同的 Amazon S3 API 操作。

注意

如需將 Amazon S3 Express One Zone 儲存類別與目錄儲存貯體搭配使用的詳細資訊,請參閱 S3 Express One Zone使用目錄儲存貯體。如需使用 Batch Operations 搭配 S3 Express One Zone 和目錄儲存貯體的詳細資訊,請參閱 使用 Batch Operations 搭配目錄儲存貯體

S3 批次作業基礎知識

您可以使用 S3 批次作業對 Amazon S3 物件執行大規模的批次作業。S3 批次作業可以對您指定的 Amazon S3 物件清單執行單一作業或動作。

術語

本節使用術語清單任務操作任務,定義如下:

清單檔案

清單檔案是 Amazon S3 物件,其中包含您希望 Amazon S3 採取行動的物件索引鍵。如果您想要建立批次操作任務,則必須提供清單。使用者產生的資訊清單必須包含儲存貯體名稱、物件金鑰,以及每個物件的物件版本。如果您提供使用者產生的資訊清單,其格式必須是 Amazon S3 庫存報告或 CSV 檔案。

您也可以讓 Amazon S3 根據您在建立任務時指定的物件篩選條件自動產生資訊清單。此選項適用於您在 Amazon S3 主控台中建立的 S3 批次複寫任務,或您使用 AWS Command Line Interface (AWS CLI)、 AWS SDKs 或 Amazon S3 REST 建立的任何任務類型API。 Amazon S3

任務 (Job)

任務是 S3 批次作業的基本工作單位。任務包含所有針對資訊清單中所列出物件執行指定操作時的必要資訊。當您提供此資訊並請求開始任務後,任務會針對資訊清單中的每個物件執行操作。

作業

操作是您要批次操作任務執行的 API 動作類型,例如複製物件。每個任務會在資訊清單中指定的所有物件上執行單一類型的操作。

任務

任務 (task) 是任務 (job) 的執行單位。任務代表對 Amazon S3 或 AWS Lambda API 操作的單一呼叫,以在單一物件上執行任務的操作。在任務的存留期間,S3 批次作業會為資訊清單中指定的每個物件各自建立一個任務。

S3 批次作業任務的運作方式

任務是 S3 批次作業的基本工作單位。任務包含所有針對物件清單執行指定操作的必要資訊。若要建立任務,您可以給予 S3 批次作業一個物件清單,然後指定要在這些物件上執行的動作。

如需 S3 批次操作支援之操作的相關資訊,請參閱S3 批次操作支援的操作

批次任務會針對其資訊清單中包含的每個物件執行指定的操作。資訊清單會列出您希望批次任務處理的物件,並做為物件儲存在儲存貯體中。您可以使用逗號分隔值 (CSV) 格式使用 S3 庫存編製目錄和分析資料的報告作為資訊清單,這可讓您輕鬆地建立位於儲存貯體中的物件大型清單。您也可以以簡單的 CSV 格式指定資訊清單,可讓您在單一儲存貯體中包含的物件自訂清單上執行批次操作。

建立任務後,Amazon S3 便會處理資訊清單中的物件清單,並針對每個物件執行指定的作業。任務執行期間,您可以透過程式設計方式或 Amazon S3 主控台來監控進度。您也可以設定任務,在其完成時產生完成報告。完成報告會描述任務 (job) 所執行的每個任務 (task) 結果。如需監控任務的詳細資訊,請參閱 管理 S3 批次作業任務

S3 批次操作教學課程

下列教學課程會針對部分批次操作任務顯示完整的 end-to-end 程序。