本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
開發端點 API
開發端點API描述 AWS Glue API與使用自訂進行測試相關的 DevEndpoint。
資料類型
DevEndpoint 結構
開發人員可以遠端偵錯擷取、轉換和載入 (ETL) 指令碼的開發端點。
欄位
-
EndpointName
– UTF-8 字串。DevEndpoint
的名稱。 -
RoleArn
– UTF-8 字串,符合 AWS IAM ARN string pattern。此 中使用的IAM角色的 Amazon Resource Name (ARN)
DevEndpoint
。 -
SecurityGroupIds
– UTF-8 個字串的陣列。此
DevEndpoint
中所使用的安全群組識識別碼清單。 -
SubnetId
– UTF-8 字串。此
DevEndpoint
的子網路 ID。 -
YarnEndpointAddress
– UTF-8 字串。此 使用的YARN端點地址
DevEndpoint
。 -
PrivateAddress
– UTF-8 字串。如果在
DevEndpoint
中DevEndpoint
建立 ,則用來存取 中的 的私有 IP VPC 地址。只有當您在DevEndpoint
中建立 時,PrivateAddress
欄位才會存在VPC。 -
ZeppelinRemoteSparkInterpreterPort
– 數字 (整數)。供遠端 Apache Spark 解譯器使用的 Apache Zeppelin 通訊埠。
-
PublicAddress
– UTF-8 字串。此
DevEndpoint
所用的公有 IP 地址。只有當您建立非虛擬私有雲端 (VPC) 時,PublicAddress
欄位才會出現DevEndpoint
。 -
Status
– UTF-8 字串。此
DevEndpoint
的目前狀態。 -
WorkerType
– UTF-8 字串 (有效值:Standard=""
|G.1X=""
| |G.2X=""
|G.025X=""
G.4X=""
|G.8X=""
| |Z.2X=""
)。配置給開發端點的預先定義工作者類型。可接受值為標準、G.1X 或 G.2X
-
對於
Standard
工作者類型,每個工作者提供 4 vCPU、16 GB 記憶體和 50GB 磁碟,以及每個工作者 2 個執行器。 -
對於
G.1X
工作者類型,每個工作者映射到 1 DPU(4 vCPU、16 GB 記憶體、64 GB 磁碟),並為每個工作者提供 1 個執行器。我們建議記憶體密集型任務採用這種工作者類型。 -
對於
G.2X
工作者類型,每個工作者映射到 2 DPU(8 vCPU、32 GB 記憶體、128 GB 磁碟),並為每個工作者提供 1 個執行器。我們建議記憶體密集型任務採用這種工作者類型。
已知問題:使用
G.2X
WorkerType
組態建立開發端點時,開發端點的 Spark 驅動程式將在 4 vCPU、16 GB 記憶體和 64 GB 磁碟上執行。 -
-
GlueVersion
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Custom string pattern #47。Glue 版本會決定 AWS Glue 支援的 Apache Spark 和 Python 版本。Python 版本指出支援在開發端點上執行ETL指令碼的版本。
如需可用 AWS Glue 版本和對應 Spark 和 Python 版本的詳細資訊,請參閱 開發人員指南中的 Glue 版本。
在沒有指定 Glue 版本情況下建立的開發端點,預設為 Glue 0.9。
您可以使用
CreateDevEndpoint
或 中的Arguments
參數,指定開發端點的 PythonUpdateDevEndpoint
支援版本APIs。如果未提供引數,版本預設為 Python 2。 -
NumberOfWorkers
– 數字 (整數)。配置給開發端點之已定義
workerType
的工作者數目。您可以為
G.1X
定義的工作者數目上限是 299,為G.2X
定義的數目上限則是 149。 -
NumberOfNodes
– 數字 (整數)。配置給此 的 AWS Glue 資料處理單位數量 (DPUs)
DevEndpoint
。 -
AvailabilityZone
– UTF-8 字串。此
DevEndpoint
位置的 AWS 可用區域。 -
VpcId
– UTF-8 字串。此 所使用的虛擬私有雲端 (VPC) ID
DevEndpoint
。 -
ExtraPythonLibsS3Path
– UTF-8 字串。指向 Amazon S3 儲存貯體中一或多個 Python 程式庫的路徑,此儲存貯體應載入您的
DevEndpoint
。多個值必須是以英文逗號分隔的完整路徑。注意
您只能搭配純 Python 程式庫使用
DevEndpoint
。目前尚未支援使用 C 擴充功能的程式庫 (例如 pandasPython 資料分析程式庫)。 -
ExtraJarsS3Path
– UTF-8 字串。指向 S3 儲存貯體中一或多個 Java
.jar
檔案的路徑,該 S3 儲存貯體應載入您的DevEndpoint
。注意
您只能搭配純 Java/Scala 程式庫使用
DevEndpoint
。 -
FailureReason
– UTF-8 字串。此
DevEndpoint
目前故障的原因。 -
LastUpdateStatus
– UTF-8 字串。上次更新的狀態。
-
CreatedTimestamp
– 時間戳記。DevEndpoint 建立此項目的時間點。
-
LastModifiedTimestamp
– 時間戳記。此
DevEndpoint
上次修改的時間點。 -
PublicKey
– UTF-8 字串。此
DevEndpoint
用來進行身分驗證所使用的公有金鑰。由於推薦使用屬性是公用金鑰,此屬性的提供是為了回溯相容性。 -
PublicKeys
– UTF-8 個字串的陣列,不可超過 5 個字串。該
DevEndpoints
用來進行身分驗證所使用的公有金鑰清單。此屬性的使用優先於單一公有公鑰,因為公有金鑰允許您為每個用戶端使用不同的私有金鑰。注意
如果您之前是搭配公有金鑰建立端點,則您必須移除該金鑰,才能設定的公有金鑰。使用
deletePublicKeys
屬性中的公有金鑰內容,以及 屬性中的新金鑰清單來呼叫UpdateDevEndpoint
API操作addPublicKeys
。 -
SecurityConfiguration
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。可與此
DevEndpoint
搭配使用的SecurityConfiguration
結構名稱。 -
Arguments
– 金鑰值對的映射陣列,不超過 100 對。每個金鑰都是 UTF-8 字串。
每個值都是 UTF-8 字串。
用於設定
DevEndpoint
的引數映射。有效引數為:
-
"--enable-glue-datacatalog": ""
您可以使用
CreateDevEndpoint
或 中的Arguments
參數,指定開發端點的 PythonUpdateDevEndpoint
支援版本APIs。如果未提供引數,版本預設為 Python 2。 -
DevEndpointCustomLibraries 結構
要載入開發端點的自訂程式庫。
欄位
-
ExtraPythonLibsS3Path
– UTF-8 字串。至 Amazon Simple Storage Service (Amazon S3) 儲存貯體中一個或多個 Python 程式庫的路徑,該儲存貯體應載入您的
DevEndpoint
。多個值必須是以英文逗號分隔的完整路徑。注意
您只能搭配純 Python 程式庫使用
DevEndpoint
。目前尚未支援使用 C 擴充功能的程式庫 (例如 pandasPython 資料分析程式庫)。 -
ExtraJarsS3Path
– UTF-8 字串。指向 S3 儲存貯體中一或多個 Java
.jar
檔案的路徑,該 S3 儲存貯體應載入您的DevEndpoint
。注意
您只能搭配純 Java/Scala 程式庫使用
DevEndpoint
。
作業
CreateDevEndpoint 動作 (Python:creat_dev_endpoint)
建立新的開發端點。
請求
-
EndpointName
– 必要:UTF-8 字串。要指派給新
DevEndpoint
的名稱。 -
RoleArn
– 必要:UTF-8 字串,符合 AWS IAM ARN string pattern。IAM 的角色
DevEndpoint
。 -
SecurityGroupIds
– UTF-8 個字串的陣列。新 要使用的安全群組IDs安全群組
DevEndpoint
。 -
SubnetId
– UTF-8 字串。新
DevEndpoint
要使用的子網路 ID。 -
PublicKey
– UTF-8 字串。此
DevEndpoint
用來進行身分驗證所使用的公有金鑰。由於推薦使用屬性是公用金鑰,此屬性的提供是為了回溯相容性。 -
PublicKeys
– UTF-8 個字串的陣列,不超過 5 個字串。該開發端點用來進行身分驗證所使用的公有金鑰清單。此屬性的使用優先於單一公有公鑰,因為公有金鑰允許您為每個用戶端使用不同的私有金鑰。
注意
如果您之前是搭配公有金鑰建立端點,則您必須移除該金鑰,才能設定的公有金鑰。
UpdateDevEndpoint
API 使用deletePublicKeys
屬性中的公有金鑰內容,以及 屬性中的新金鑰清單呼叫addPublicKeys
。 -
NumberOfNodes
– 數字 (整數)。要配置到此 的 AWS Glue 資料處理單位數量 (DPUs)
DevEndpoint
。 -
WorkerType
– UTF-8 字串 (有效值:Standard=""
|G.1X=""
| |G.2X=""
|G.025X=""
G.4X=""
|G.8X=""
|Z.2X=""
)。配置給開發端點的預先定義工作者類型。可接受值為標準、G.1X 或 G.2X
-
對於
Standard
工作者類型,每個工作者提供 4 vCPU、16 GB 記憶體和 50GB 磁碟,以及每個工作者 2 個執行器。 -
對於
G.1X
工作者類型,每個工作者映射到 1 DPU(4 vCPU、16 GB 記憶體、64 GB 磁碟),並為每個工作者提供 1 個執行器。我們建議記憶體密集型任務採用這種工作者類型。 -
對於
G.2X
工作者類型,每個工作者映射到 2 DPU(8 vCPU、32 GB 記憶體、128 GB 磁碟),並為每個工作者提供 1 個執行器。我們建議記憶體密集型任務採用這種工作者類型。
已知問題:使用
G.2X
WorkerType
組態建立開發端點時,開發端點的 Spark 驅動程式將在 4 vCPU、16 GB 記憶體和 64 GB 磁碟上執行。 -
-
GlueVersion
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Custom string pattern #47。Glue 版本會決定 AWS Glue 支援的 Apache Spark 和 Python 版本。Python 版本指出支援在開發端點上執行ETL指令碼的版本。
如需可用 AWS Glue 版本和對應 Spark 和 Python 版本的詳細資訊,請參閱 開發人員指南中的 Glue 版本。
在沒有指定 Glue 版本情況下建立的開發端點,預設為 Glue 0.9。
您可以使用
CreateDevEndpoint
或 中的Arguments
參數,指定開發端點的 PythonUpdateDevEndpoint
支援版本APIs。如果未提供引數,版本預設為 Python 2。 -
NumberOfWorkers
– 數字 (整數)。配置給開發端點之已定義
workerType
的工作者數目。您可以為
G.1X
定義的工作者數目上限是 299,為G.2X
定義的數目上限則是 149。 -
ExtraPythonLibsS3Path
– UTF-8 字串。指向 Amazon S3 儲存貯體中一或多個 Python 程式庫的路徑,此儲存貯體應載入您的
DevEndpoint
。多個值必須是以英文逗號分隔的完整路徑。注意
您只能搭配純 Python 程式庫使用
DevEndpoint
。目前尚未支援使用 C 延伸模組的程式庫 (例如 pandasPython 資料分析程式庫)。 -
ExtraJarsS3Path
– UTF-8 字串。指向 S3 儲存貯體中一或多個 Java
.jar
檔案的路徑,該 S3 儲存貯體應載入您的DevEndpoint
。 -
SecurityConfiguration
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合 Single-line string pattern。可與此
DevEndpoint
搭配使用的SecurityConfiguration
結構名稱。 -
Tags
– 金鑰值對的對應陣列,不超過 50 對。每個金鑰都是 UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 128 個位元組。
每個值都是 UTF-8 字串,長度不可超過 256 個位元組。
要搭配此 DevEndpoint 使用的標籤。您可以使用標籤來限制對 的存取 DevEndpoint。如需 中標籤的詳細資訊 AWS Glue,請參閱 開發人員指南中的 AWS 中的標籤 AWS Glue。
-
Arguments
– 金鑰值對的映射陣列,不超過 100 對。每個金鑰都是 UTF-8 字串。
每個值都是 UTF-8 字串。
用於設定
DevEndpoint
的引數映射。
回應
-
EndpointName
– UTF-8 字串。指派給新的
DevEndpoint
的名稱。 -
Status
– UTF-8 字串。新的
DevEndpoint
的目前狀態。 -
SecurityGroupIds
– UTF-8 個字串的陣列。指派給新的
DevEndpoint
的安全群組。 -
SubnetId
– UTF-8 字串。指派給新
DevEndpoint
的子網路 ID。 -
RoleArn
– UTF-8 字串,符合 AWS IAM ARN string pattern。指派給新 之角色的 Amazon Resource Name (ARN)
DevEndpoint
。 -
YarnEndpointAddress
– UTF-8 字串。此 所使用的YARN端點地址
DevEndpoint
。 -
ZeppelinRemoteSparkInterpreterPort
– 數字 (整數)。供遠端 Apache Spark 解譯器使用的 Apache Zeppelin 通訊埠。
-
NumberOfNodes
– 數字 (整數)。分配給此 的 AWS Glue 資料處理單位數量 (DPUs) DevEndpoint。
-
WorkerType
– UTF-8 字串 (有效值:Standard=""
|G.1X=""
| |G.2X=""
|G.025X=""
G.4X=""
|G.8X=""
|)Z.2X=""
。配置給開發端點的預先定義工作者類型。可能是標準、G.1X 或 G.2X 的值。
-
GlueVersion
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Custom string pattern #47。Glue 版本會決定 AWS Glue 支援的 Apache Spark 和 Python 版本。Python 版本指出支援在開發端點上執行ETL指令碼的版本。
如需可用 AWS Glue 版本和對應 Spark 和 Python 版本的詳細資訊,請參閱 開發人員指南中的 Glue 版本。
-
NumberOfWorkers
– 數字 (整數)。配置給開發端點之已定義
workerType
的工作者數目。 -
AvailabilityZone
– UTF-8 字串。此
DevEndpoint
位置的 AWS 可用區域。 -
VpcId
– UTF-8 字串。此 所使用的虛擬私有雲端 (VPC) ID
DevEndpoint
。 -
ExtraPythonLibsS3Path
– UTF-8 字串。至 S3 儲存貯體中一個或多個 Python 程式庫的路徑,該 S3 儲存貯體將載入您的
DevEndpoint
。 -
ExtraJarsS3Path
– UTF-8 字串。至 S3 儲存貯體中一個或多個 Java
.jar
檔案的路徑,該 S3 儲存貯體將載入您的DevEndpoint
。 -
FailureReason
– UTF-8 字串。此
DevEndpoint
目前故障的原因。 -
SecurityConfiguration
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。可與此
DevEndpoint
搭配使用的SecurityConfiguration
結構名稱。 -
CreatedTimestamp
– 時間戳記。此
DevEndpoint
建立的時間點。 -
Arguments
– 金鑰值對的對應陣列,不超過 100 對。每個金鑰都是 UTF-8 字串。
每個值都是 UTF-8 字串。
用於設定
DevEndpoint
的引數映射。有效引數為:
-
"--enable-glue-datacatalog": ""
您可以使用
CreateDevEndpoint
或 中的Arguments
參數,指定開發端點的 PythonUpdateDevEndpoint
支援版本APIs。如果未提供引數,版本預設為 Python 2。 -
錯誤
AccessDeniedException
AlreadyExistsException
IdempotentParameterMismatchException
InternalServiceException
OperationTimeoutException
InvalidInputException
ValidationException
ResourceNumberLimitExceededException
UpdateDevEndpoint 動作 (Python: update_dev_endpoint)
更新指定的開發端點。
請求
-
EndpointName
– 必要:UTF-8 字串。要更新之
DevEndpoint
的名稱。 -
PublicKey
– UTF-8 字串。DevEndpoint
將使用的公有金鑰。 -
AddPublicKeys
– UTF-8 個字串的陣列,不可超過 5 個字串。DevEndpoint
將使用的公有金鑰清單。 -
DeletePublicKeys
– UTF-8 個字串的陣列,不可超過 5 個字串。要從
DevEndpoint
刪除的公有金鑰清單。 -
CustomLibraries
– DevEndpointCustomLibraries 物件。要載入
DevEndpoint
中的自訂 Python 或 Java 程式庫。 -
UpdateEtlLibraries
– 布林值。如果要載入開發端點中的自訂程式庫的清單需要更新,此值為
True
,如果不需更新則為False
。 -
DeleteArguments
– UTF-8 個字串的陣列。要從用於設定
DevEndpoint
之引數映射中刪除的引數金鑰清單。 -
AddArguments
– 金鑰值對的對應陣列,不超過 100 對。每個金鑰都是 UTF-8 字串。
每個值都是 UTF-8 字串。
要新增用於設定
DevEndpoint
之引數映射的引數映射。有效引數為:
-
"--enable-glue-datacatalog": ""
您可以使用
CreateDevEndpoint
或 中的Arguments
參數,指定開發端點的 PythonUpdateDevEndpoint
支援版本APIs。如果未提供引數,版本預設為 Python 2。 -
回應
無回應參數。
錯誤
EntityNotFoundException
InternalServiceException
OperationTimeoutException
InvalidInputException
ValidationException
DeleteDevEndpoint 動作 (Python:Delete_dev_endpoint)
刪除指定的開發端點。
請求
-
EndpointName
– 必要:UTF-8 字串。DevEndpoint
的名稱。
回應
無回應參數。
錯誤
EntityNotFoundException
InternalServiceException
OperationTimeoutException
InvalidInputException
GetDevEndpoint 動作 (Python:get_dev_endpoint)
擷取關於所指定開發端點的資訊。
注意
當您在虛擬私有雲端 (VPC) 中建立開發端點時, 只會 AWS Glue 傳回私有 IP 地址,而不會填入公有 IP 地址欄位。當您建立非VPC開發端點時, 只會 AWS Glue 傳回公有 IP 地址。
請求
-
EndpointName
– 必要:UTF-8 字串。用於擷取資訊之
DevEndpoint
的名稱。
回應
-
DevEndpoint
– DevEndpoint 物件。DevEndpoint
定義。
錯誤
EntityNotFoundException
InternalServiceException
OperationTimeoutException
InvalidInputException
GetDevEndpoints 動作 (Python:get_dev_endpoints)
擷取此 AWS 帳戶中的所有開發端點。
注意
當您在虛擬私有雲端 (VPC) 中建立開發端點時, 只會 AWS Glue 傳回私有 IP 地址,而不會填入公有 IP 地址欄位。當您建立非VPC開發端點時, 只會 AWS Glue 傳回公有 IP 地址。
請求
-
MaxResults
– 數字 (整數),不可小於 1,也不可以大於 1000。所要回傳資訊的檔案大小上限。
-
NextToken
– UTF-8 字串。接續符記,如果這是接續呼叫。
回應
-
DevEndpoints
– 一個 DevEndpoint 物件陣列。DevEndpoint
定義的清單。 -
NextToken
– UTF-8 字串。持續符記 (如果尚未傳回所有
DevEndpoint
定義)。
錯誤
EntityNotFoundException
InternalServiceException
OperationTimeoutException
InvalidInputException
BatchGetDevEndpoints 動作 (Python: batch_get_dev_endpoints)
為指定的開發端點名稱清單,傳回資源中繼資料的清單。呼叫 ListDevEndpoints
操作之後,您便可以呼叫此操作來存取您已授與許可的資料。此操作支援所有IAM許可,包括使用標籤的許可條件。
請求
-
customerAccountId
– UTF-8 字串。AWS 帳戶 ID。
-
DevEndpointNames
– 必要:UTF-8 個字串的陣列,不可小於 1 個或超過 25 個字串。DevEndpoint
名稱清單,可能是從ListDevEndpoint
操作傳回的名稱。
回應
-
DevEndpoints
– 一個 DevEndpoint 物件陣列。DevEndpoint
定義的清單。 -
DevEndpointsNotFound
– UTF-8 個字串的陣列,不可少於 1 個或超過 25 個字串。找不到
DevEndpoints
清單。
錯誤
AccessDeniedException
InternalServiceException
OperationTimeoutException
InvalidInputException
ListDevEndpoints 動作 (Python:list_dev_endpoints)
擷取這個 AWS 帳戶下所有 DevEndpoint
資源的名稱,或是包含指定標籤的資源。您可運用此操作,查看帳戶下有哪些可用資源及其名稱。
此操作會接收您可在回應時做為篩選條件的選用 Tags
欄位,因此已標記的資源可分組進行擷取。如果您選擇使用標籤進行篩選,則此時只會擷取包含該標籤的資源。
請求
-
NextToken
– UTF-8 字串。接續符記,如果這是接續要求。
-
MaxResults
– 數字 (整數),不可小於 1,也不可以大於 1000。所要回傳清單的大小上限。
-
Tags
– 金鑰值對的對應陣列,不超過 50 對。每個金鑰都是 UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 128 個位元組。
每個值都是 UTF-8 字串,長度不可超過 256 個位元組。
指定只傳回包含這些標籤的資源。
回應
-
DevEndpointNames
– UTF-8 個字串的陣列。這個帳戶下所有
DevEndpoint
的名稱,或是使用指定標籤的DevEndpoint
。 -
NextToken
– UTF-8 字串。接續字元,如果傳回的清單未包含最後一個可用指標。
錯誤
InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException