開発エンドポイント API - AWS Glue
 – データ型 –DevEndpointDevEndpointCustomLibraries — 操作 —CreateDevEndpoint (create_dev_endpoint)UpdateDevEndpoint (update_dev_endpoint)DeleteDevEndpoint (delete_dev_endpoint)GetDevEndpoint (get_dev_endpoint)GetDevEndpoints (get_dev_endpoints)BatchGetDevEndpoints (batch_get_dev_endpoints)ListDevEndpoints (list_dev_endpoints)

開発エンドポイント API

開発エンドポイント API では、カスタム DevEndpoint を使用したテストに関連した AWS Glue API について説明します。

データ型

DevEndpoint 構造

開発者が (ETL) スクリプトをリモートでデバッグ、抽出、変換、ロードする開発エンドポイント。

[フィールド]

  • EndpointName – UTF-8 文字列。

    DevEndpoint の名前。

  • RoleArn– UTF-8 文字列、「AWS IAM ARN string pattern」に一致。

    この DevEndpoint で使用される IAM ロールの Amazon リソースネーム (ARN)。

  • SecurityGroupIds – UTF-8 文字列の配列。

    この DevEndpoint で使用されるセキュリティグループ識別子のリスト。

  • SubnetId – UTF-8 文字列。

    この DevEndpoint のサブネット ID。

  • YarnEndpointAddress – UTF-8 文字列。

    この DevEndpoint で使用される YARN エンドポイントアドレス。

  • PrivateAddress – UTF-8 文字列。

    DevEndpoint が VPC 内に作成されている場合は、VPC 内の DevEndpoint にアクセスするためのプライベート IP アドレス。PrivateAddress フィールドは、VPC 内に DevEndpoint を作成する場合にのみ表示されます。

  • ZeppelinRemoteSparkInterpreterPort – 数値 (整数)。

    リモート Apache Spark インタープリタの Apache Zeppelin ポート。

  • PublicAddress – UTF-8 文字列。

    この DevEndpoint で使用されるパブリック IP アドレス。PublicAddress フィールドは、非 Virtual Private Cloud (VPC) の DevEndpoint を作成する場合にのみ存在します。

  • Status – UTF-8 文字列。

    DevEndpoint の現在の状態。

  • WorkerType – UTF-8 文字列 (有効な値: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="")。

    開発エンドポイントに割り当てられる事前定義されたワーカーのタイプ。使用できる値は、Standard、G.1X、または G.2X です。

    • Standard ワーカータイプでは、各ワーカーは 4 vCPU、16 GB のメモリ、50 GB のディスク、ワーカーあたり 2 個のエグゼキュターを提供します。

    • G.1X ワーカータイプでは、各ワーカーは 1 DPU (4 vCPU、16 GB のメモリ、64 GB のディスク) にマッピングされており、ワーカーごとに 1 個のエグゼキュターを提供します。メモリを大量に消費するジョブには、このワーカータイプをお勧めします。

    • G.2X ワーカータイプでは、各ワーカーは 2 DPU (8 vCPU、32 GB のメモリ、128 GB のディスク) にマッピングされており、ワーカーごとに 1 個のエグゼキュターを提供します。メモリを大量に消費するジョブには、このワーカータイプをお勧めします。

    既知の問題: G.2X WorkerType 設定で開発エンドポイントを作成すると、開発エンドポイントの Spark ドライバーは 4 vCPU、16 GB のメモリ、および 64 GB のディスクで実行されます。

  • GlueVersion – UTF-8 文字列、1～255 バイト長、Custom string pattern #47 に一致。

    Glue バージョンは、AWS Glue がサポートする Apache Spark と Python のバージョンを決定します。Python バージョンは、開発エンドポイントで ETL スクリプトを実行するためにサポートされているバージョンを示します。

    利用可能な AWS Glue のバージョン、および対応する Spark および Python のバージョンの詳細については、デベロッパーガイドの「Glue version」を参照してください。

    Glue バージョンを指定せずに作成された開発エンドポイントは、デフォルトで Glue 0.9 に設定されます。

    CreateDevEndpoint または UpdateDevEndpoint API で Arguments パラメータを使用して、開発エンドポイントの Python サポートのバージョンを指定できます。引数を指定しない場合、バージョンはデフォルトで Python 2 になります。

  • NumberOfWorkers – 数値 (整数)。

    開発エンドポイントに割り当てられた、 定義された workerType のワーカーの数。

    定義可能なワーカーの最大数は、299 (G.1X) または 149 (G.2X) です。

  • NumberOfNodes – 数値 (整数)。

    この DevEndpoint に割り当てられた AWS Glue データ処理ユニット (DPU) の数。

  • AvailabilityZone – UTF-8 文字列。

    この DevEndpoint が配置されている AWS アベイラビリティーゾーン。

  • VpcId – UTF-8 文字列。

    この DevEndpoint によって使用される Virtual Private Cloud (VPC) の ID。

  • ExtraPythonLibsS3Path – UTF-8 文字列。

    DevEndpoint にロードする Amazon S3 バケットの 1 つ以上の Python ライブラリへのパス。複数の値はコンマで区切られた完全なパスでなければなりません。

    注記

    DevEndpoint を持つ純粋な Python ライブラリのみを使用することができます。pandas Python データ解析ライブラリなど、C の拡張に依存するライブラリは現在サポートされていません。

  • ExtraJarsS3Path – UTF-8 文字列。

    DevEndpoint にロードする S3 バケットの 1 つ以上の Java .jar へのパス。

    注記

    DevEndpoint を持つ純粋な Java/Scala ライブラリのみを使用することができます。

  • FailureReason – UTF-8 文字列。

    この DevEndpoint で現在障害が発生している原因。

  • LastUpdateStatus – UTF-8 文字列。

    最終更新のステータス。

  • CreatedTimestamp – タイムスタンプ。

    この DevEndpoint が作成された時点。

  • LastModifiedTimestamp – タイムスタンプ。

    この DevEndpoint が最後に変更された時点。

  • PublicKey – UTF-8 文字列。

    この DevEndpoint が認証に使用するパブリックキー。この属性は、使用が推奨される属性がパブリックキーであるため、下位互換性のために提供されています。

  • PublicKeys - UTF-8 文字列の配列。文字列 5 個以下。

    認証のために DevEndpoints により使用されるパブリックキーのリスト。パブリックキーを使用するとクライアントごとに異なるプライベートキーを設定できるため、この属性は単一のパブリックキーで使用することが推奨されます。

    注記

    以前にパブリックキーを使用してエンドポイントを作成した場合は、パブリックキーのリストを設定できるようにそのキーを削除する必要があります。パブリックキーのコンテンツを deletePublicKeys 属性で、新しいキーのリストを addPublicKeys 属性で UpdateDevEndpoint API オペレーションを呼び出します。

  • SecurityConfiguration – UTF-8 文字列、1～255 バイト長、Single-line string pattern に一致。

    この DevEndpoint で使用される SecurityConfiguration 構造の名前。

  • Arguments – キーと値のペアのマップ配列。100 ペア以下。

    各キーは UTF-8 文字列。

    各値は UTF-8 文字列。

    DevEndpoint を設定するために使用される引数のマップ。

    有効な引数は次のとおりです。

    • "--enable-glue-datacatalog": ""

    CreateDevEndpoint または UpdateDevEndpoint API で Arguments パラメータを使用して、開発エンドポイントの Python サポートのバージョンを指定できます。引数を指定しない場合、バージョンはデフォルトで Python 2 になります。

DevEndpointCustomLibraries 構造

開発エンドポイントにロードされるカスタムライブラリ。

[フィールド]

  • ExtraPythonLibsS3Path – UTF-8 文字列。

    DevEndpoint にロードする Amazon Simple Storage Service (Amazon S3) バケットの 1 つ以上の Python ライブラリへのパス。複数の値はコンマで区切られた完全なパスでなければなりません。

    注記

    DevEndpoint を持つ純粋な Python ライブラリのみを使用することができます。pandas Python データ解析ライブラリなど、C の拡張に依存するライブラリは現在サポートされていません。

  • ExtraJarsS3Path – UTF-8 文字列。

    DevEndpoint にロードする S3 バケットの 1 つ以上の Java .jar へのパス。

    注記

    DevEndpoint を持つ純粋な Java/Scala ライブラリのみを使用することができます。

操作

CreateDevEndpoint アクション (Python: create_dev_endpoint)

新しい開発エンドポイントを作成します。

リクエスト

  • EndpointName – 必須: UTF-8 文字列。

    新しい DevEndpoint に割り当てられる名前。

  • RoleArn – 必須: UTF-8 文字列。AWS IAM ARN string pattern に一致。

    DevEndpoint の IAM ロール。

  • SecurityGroupIds – UTF-8 文字列の配列。

    新しい DevEndpoint によって使用されるセキュリティグループのセキュリティグループ ID。

  • SubnetId – UTF-8 文字列。

    使用する新しい DevEndpoint のサブネット ID。

  • PublicKey – UTF-8 文字列。

    この DevEndpoint が認証に使用するパブリックキー。この属性は、使用が推奨される属性がパブリックキーであるため、下位互換性のために提供されています。

  • PublicKeys - UTF-8 文字列の配列。文字列 5 個以下。

    認証のために開発エンドポイントで使用されるパブリックキーのリスト。パブリックキーを使用するとクライアントごとに異なるプライベートキーを設定できるため、この属性は単一のパブリックキーで使用することが推奨されます。

    注記

    以前にパブリックキーを使用してエンドポイントを作成した場合は、パブリックキーのリストを設定できるようにそのキーを削除する必要があります。パブリックキーのコンテンツを deletePublicKeys 属性で、新しいキーのリストを addPublicKeys 属性で指定して、UpdateDevEndpoint API オペレーションを呼び出します。

  • NumberOfNodes – 数値 (整数)。

    この DevEndpoint に割り当てる AWS Glue データ処理ユニット (DPU) の数。

  • WorkerType – UTF-8 文字列 (有効な値: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="")。

    開発エンドポイントに割り当てられる事前定義されたワーカーのタイプ。使用できる値は、Standard、G.1X、または G.2X です。

    • Standard ワーカータイプでは、各ワーカーは 4 vCPU、16 GB のメモリ、50 GB のディスク、ワーカーあたり 2 個のエグゼキュターを提供します。

    • G.1X ワーカータイプでは、各ワーカーは 1 DPU (4 vCPU、16 GB のメモリ、64 GB のディスク) にマッピングされており、ワーカーごとに 1 個のエグゼキュターを提供します。メモリを大量に消費するジョブには、このワーカータイプをお勧めします。

    • G.2X ワーカータイプでは、各ワーカーは 2 DPU (8 vCPU、32 GB のメモリ、128 GB のディスク) にマッピングされており、ワーカーごとに 1 個のエグゼキュターを提供します。メモリを大量に消費するジョブには、このワーカータイプをお勧めします。

    既知の問題: G.2X WorkerType 設定で開発エンドポイントを作成すると、開発エンドポイントの Spark ドライバーは 4 vCPU、16 GB のメモリ、および 64 GB のディスクで実行されます。

  • GlueVersion – UTF-8 文字列、1～255 バイト長、Custom string pattern #47 に一致。

    Glue バージョンは、AWS Glue がサポートする Apache Spark と Python のバージョンを決定します。Python バージョンは、開発エンドポイントで ETL スクリプトを実行するためにサポートされているバージョンを示します。

    利用可能な AWS Glue のバージョン、および対応する Spark および Python のバージョンの詳細については、デベロッパーガイドの「Glue version」を参照してください。

    Glue バージョンを指定せずに作成された開発エンドポイントは、デフォルトで Glue 0.9 に設定されます。

    CreateDevEndpoint または UpdateDevEndpoint API で Arguments パラメータを使用して、開発エンドポイントの Python サポートのバージョンを指定できます。引数を指定しない場合、バージョンはデフォルトで Python 2 になります。

  • NumberOfWorkers – 数値 (整数)。

    開発エンドポイントに割り当てられた、 定義された workerType のワーカーの数。

    定義可能なワーカーの最大数は、299 (G.1X) または 149 (G.2X) です。

  • ExtraPythonLibsS3Path – UTF-8 文字列。

    DevEndpoint にロードする Amazon S3 バケットの 1 つ以上の Python ライブラリへのパス。複数の値はコンマで区切られた完全なパスでなければなりません。

    注記

    DevEndpoint を持つ純粋な Python ライブラリのみを使用することができます。pandas Python データ解析ライブラリなど、C の拡張機能に依存するライブラリはまだサポートされていません。

  • ExtraJarsS3Path – UTF-8 文字列。

    DevEndpoint にロードする S3 バケットの 1 つ以上の Java .jar へのパス。

  • SecurityConfiguration – UTF-8 文字列、1～255 バイト長、Single-line string pattern に一致。

    この DevEndpoint で使用される SecurityConfiguration 構造の名前。

  • Tags – キーと値のペアのマップ配列。50 ペア以下。

    各キーは UTF-8 文字列で、1～128 バイト長です。

    各値は UTF-8 文字列で、256 バイト長以下です。

    この DevEndpoint で使用するタグ。DevEndpoint へのアクセスを制限するためにタグを使用することができます。AWS Glue のタグの詳細については、デベロッパーガイドの「AWS Tags in AWS Glue」を参照してください。

  • Arguments – キーと値のペアのマップ配列。100 ペア以下。

    各キーは UTF-8 文字列。

    各値は UTF-8 文字列。

    DevEndpoint を設定するために使用される引数のマップ。

レスポンス

  • EndpointName – UTF-8 文字列。

    新しい DevEndpoint に割り当てられた名前。

  • Status – UTF-8 文字列。

    新しい DevEndpoint の現在の状態。

  • SecurityGroupIds – UTF-8 文字列の配列。

    新しい DevEndpoint に割り当てられたセキュリティグループ。

  • SubnetId – UTF-8 文字列。

    新しい DevEndpoint に割り当てられたサブネット ID。

  • RoleArn– UTF-8 文字列、「AWS IAM ARN string pattern」に一致。

    新しい DevEndpoint に割り当てられたロールの Amazon リソースネーム (ARN)。

  • YarnEndpointAddress – UTF-8 文字列。

    この DevEndpoint で使用される YARN エンドポイントのアドレス。

  • ZeppelinRemoteSparkInterpreterPort – 数値 (整数)。

    リモート Apache Spark インタープリタの Apache Zeppelin ポート。

  • NumberOfNodes – 数値 (整数)。

    この DevEndpoint に割り当てられた AWS Glue データ処理ユニット (DPU) の数。

  • WorkerType – UTF-8 文字列 (有効な値: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="")。

    開発エンドポイントに割り当てられる事前定義されたワーカーのタイプ。使用できる値は、Standard、G.1X、または G.2X です。

  • GlueVersion – UTF-8 文字列、1～255 バイト長、Custom string pattern #47 に一致。

    Glue バージョンは、AWS Glue がサポートする Apache Spark と Python のバージョンを決定します。Python バージョンは、開発エンドポイントで ETL スクリプトを実行するためにサポートされているバージョンを示します。

    利用可能な AWS Glue のバージョン、および対応する Spark および Python のバージョンの詳細については、デベロッパーガイドの「Glue version」を参照してください。

  • NumberOfWorkers – 数値 (整数)。

    開発エンドポイントに割り当てられた、 定義された workerType のワーカーの数。

  • AvailabilityZone – UTF-8 文字列。

    この DevEndpoint が配置されている AWS アベイラビリティーゾーン。

  • VpcId – UTF-8 文字列。

    この DevEndpoint によって使用される Virtual Private Cloud (VPC) の ID。

  • ExtraPythonLibsS3Path – UTF-8 文字列。

    DevEndpoint にロードする S3 バケットの 1 つ以上の Python ライブラリへのパス。

  • ExtraJarsS3Path – UTF-8 文字列。

    DevEndpoint にロードする S3 バケットの 1 つ以上の Java .jar ファイルへのパス。

  • FailureReason – UTF-8 文字列。

    この DevEndpoint で現在障害が発生している原因。

  • SecurityConfiguration – UTF-8 文字列、1～255 バイト長、Single-line string pattern に一致。

    この DevEndpoint で使用されている SecurityConfiguration 構造の名前。

  • CreatedTimestamp – タイムスタンプ。

    この DevEndpoint が最後に変更された時点。

  • Arguments – キーと値のペアのマップ配列。100 ペア以下。

    各キーは UTF-8 文字列。

    各値は UTF-8 文字列。

    この DevEndpoint を設定するために使用される引数のマップ。

    有効な引数は次のとおりです。

    • "--enable-glue-datacatalog": ""

    CreateDevEndpoint または UpdateDevEndpoint API で Arguments パラメータを使用して、開発エンドポイントの Python サポートのバージョンを指定できます。引数を指定しない場合、バージョンはデフォルトで Python 2 になります。

エラー

  • AccessDeniedException

  • AlreadyExistsException

  • IdempotentParameterMismatchException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

  • ValidationException

  • ResourceNumberLimitExceededException

UpdateDevEndpoint アクション (Python: update_dev_endpoint)

指定された開発エンドポイントを更新します。

リクエスト

  • EndpointName – 必須: UTF-8 文字列。

    更新される DevEndpoint の名前。

  • PublicKey – UTF-8 文字列。

    使用する DevEndpoint のパブリックキー。

  • AddPublicKeys - UTF-8 文字列の配列。文字列 5 個以下。

    使用する DevEndpoint のパブリックキーのリスト。

  • DeletePublicKeys - UTF-8 文字列の配列。文字列 5 個以下。

    DevEndpoint から削除するパブリックキーのリスト。

  • CustomLibraries – DevEndpointCustomLibraries オブジェクト。

    DevEndpoint でロードされるカスタム Python または Java ライブラリ。

  • UpdateEtlLibraries – ブール。

    開発エンドポイントでロードされるカスタムライブラリのリストを更新する必要がある場合は True、それ以外の場合は False。

  • DeleteArguments – UTF-8 文字列の配列。

    DevEndpoint の設定に使用される引数のマップから削除される引数キーのリスト。

  • AddArguments – キーと値のペアのマップ配列。100 ペア以下。

    各キーは UTF-8 文字列。

    各値は UTF-8 文字列。

    DevEndpoint の設定に使用される引数のマップを追加する引数のマップ。

    有効な引数は次のとおりです。

    • "--enable-glue-datacatalog": ""

    CreateDevEndpoint または UpdateDevEndpoint API で Arguments パラメータを使用して、開発エンドポイントの Python サポートのバージョンを指定できます。引数を指定しない場合、バージョンはデフォルトで Python 2 になります。

レスポンス

  • 応答パラメータはありません。

エラー

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

  • ValidationException

DeleteDevEndpoint アクション (Python: delete_dev_endpoint)

指定された開発エンドポイントを削除します。

リクエスト

  • EndpointName – 必須: UTF-8 文字列。

    DevEndpoint の名前。

レスポンス

  • 応答パラメータはありません。

エラー

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

GetDevEndpoint アクション (Python: get_dev_endpoint)

指定した開発エンドポイントに関する情報を取得します。

注記

Virtual Private Cloud (VPC) で開発エンドポイントを作成する場合、AWS Glue はプライベート IP アドレスのみを返します。パブリック IP アドレスフィールドは入力されません。VPC 以外の開発エンドポイントを作成する場合、AWS Glue はパブリック IP アドレスのみを返します。

リクエスト

  • EndpointName – 必須: UTF-8 文字列。

    情報を取得する DevEndpoint の名前。

レスポンス

  • DevEndpoint – DevEndpoint オブジェクト。

    DevEndpoint の定義。

エラー

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

GetDevEndpoints アクション (Python: get_dev_endpoints)

この AWS アカウントのすべての開発エンドポイントを取得します。

注記

Virtual Private Cloud (VPC) で開発エンドポイントを作成する場合、AWS Glue はプライベート IP アドレスのみを返します。パブリック IP アドレスフィールドには入力されません。VPC 以外の開発エンドポイントを作成する場合、AWS Glue はパブリック IP アドレスのみを返します。

リクエスト

  • MaxResults – 1～1000 の数値 (整数)。

    返される情報の最大サイズ。

  • NextToken – UTF-8 文字列。

    継続トークン (これが継続呼び出しの場合)。

応答

  • DevEndpoints – DevEndpoint オブジェクトの配列。

    DevEndpoint の定義のリスト。

  • NextToken – UTF-8 文字列。

    一部の DevEndpoint 定義がまだ返されていない場合は、継続トークン。

エラー

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

BatchGetDevEndpoints アクション (Python: batch_get_dev_endpoints)

指定された開発エンドポイントのリストのリソースメタデータのリストを返します。ListDevEndpoints オペレーションを呼び出した後で、このオペレーションを呼び出すことで、アクセス許可が付与されているデータにアクセスできます。このオペレーションは、タグを使用するアクセス許可条件を含め、すべての IAM のアクセス許可をサポートします。

リクエスト

  • customerAccountId – UTF-8 文字列。

    AWS アカウント ID。

  • DevEndpointNames – 必須: UTF-8 文字列の配列。1 ～ 25 個の文字列。

    DevEndpoint 名のリスト。これは ListDevEndpoint オペレーションから返される名前です。

応答

  • DevEndpoints – DevEndpoint オブジェクトの配列。

    DevEndpoint の定義のリスト。

  • DevEndpointsNotFound – UTF-8 文字列の配列。1～25 個の文字列。

    DevEndpoints のリストが見つかりません。

エラー

  • AccessDeniedException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

ListDevEndpoints アクション (Python: list_dev_endpoints)

この AWS アカウントのすべての DevEndpoint リソースまたは指定されたタグを持つリソースの名前を取得します。このオペレーションにより、アカウントで利用可能なリソースとその名前を確認できます。

このオペレーションはオプションの Tags フィールドを受け取ります。このフィールドを応答のフィルターとして使用すると、タグ付きリソースをグループとして取得できます。タグフィルタリングの使用を選択した場合は、タグが付いたリソースのみが取得されます。

リクエスト

  • NextToken – UTF-8 文字列。

    継続トークン (これが継続リクエストの場合)。

  • MaxResults – 1～1000 の数値 (整数)。

    返されるリストの最大サイズ。

  • Tags – キーと値のペアのマップ配列。50 ペア以下。

    各キーは UTF-8 文字列で、1～128 バイト長です。

    各値は UTF-8 文字列で、256 バイト長以下です。

    これらのタグ付きリソースのみを返すように指定します。

レスポンス

  • DevEndpointNames – UTF-8 文字列の配列。

    アカウント内のすべての DevEndpoint の名前、または指定されたタグを持つ DevEndpoint の名前。

  • NextToken – UTF-8 文字列。

    継続トークン (戻されたリストに最後に使用可能なメトリクスが含まれていない場合)。

エラー

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException