Endpoint di sviluppo API

• DevEndpoint struttura

• DevEndpointCustomLibraries struttura

Campi

• EndpointName— -8 stringhe. UTF

  Nome della DevEndpoint.

• RoleArn— UTF -8 stringhe, corrispondenti aAWS IAM ARN string pattern.

  L'Amazon Resource Name (ARN) del IAM ruolo utilizzato in questoDevEndpoint.

• SecurityGroupIds— Un array di UTF -8 stringhe.

  Un elenco degli identificatori dei gruppi di sicurezza utilizzati in questo DevEndpoint.

• SubnetId— UTF -8 corde.

  La sottorete ID per questo DevEndpoint.

• YarnEndpointAddress— UTF -8 corde.

  L'indirizzo dell'YARNendpoint utilizzato da questoDevEndpoint.

• PrivateAddress— UTF -8 stringhe.

  Un indirizzo IP privato per accedere all'DevEndpointinterno di un VPC se DevEndpoint è stato creato all'interno di uno. Il PrivateAddress campo è presente solo quando lo crei all'DevEndpointinterno del tuoVPC.

• ZeppelinRemoteSparkInterpreterPort: numero (intero).

  La porta Apache Zeppelin per l'interprete Apache Spark remoto.

• PublicAddress— UTF -8 corde.

  L'indirizzo IP pubblico utilizzato da questo DevEndpoint. Il PublicAddress campo è presente solo quando si crea un cloud privato non virtuale (VPC). DevEndpoint

• Status— UTF -8 stringhe.

  Lo stato corrente di questo DevEndpoint.

• WorkerType— UTF -8 stringhe (valori validi: Standard="" G.1X="" | G.2X="" | G.025X="" | | G.4X="" | G.8X="" |Z.2X="").

  Il tipo di worker predefinito allocato all'endpoint di sviluppo. Accetta un valore Standard, G.1X o G.2X.

  • Per il tipo di Standard worker, ogni worker fornisce 4 vCPU, 16 GB di memoria e un disco da 50 GB e 2 executor per lavoratore.

  • Per il tipo di G.1X worker, ogni worker esegue il mapping su 1 DPU (4 vCPU, 16 GB di memoria, disco da 64 GB) e fornisce 1 esecutore per lavoratore. Consigliamo questo tipo di worker per i processi ad alto consumo di memoria.

  • Per il tipo di G.2X worker, ogni worker esegue il mapping su 2 DPU (8 vCPU, 32 GB di memoria, 128 GB di disco) e fornisce 1 esecutore per lavoratore. Consigliamo questo tipo di worker per i processi ad alto consumo di memoria.

  Problema noto: quando viene creato un endpoint di sviluppo con la G.2X WorkerType configurazione, i driver Spark per l'endpoint di sviluppo verranno eseguiti su 4 vCPU, 16 GB di memoria e un disco da 64 GB.

• GlueVersion— UTF -8 stringhe, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Custom string pattern #47

  La versione Glue determina le versioni di Apache Spark e Python supportate. AWS Glue La versione Python indica la versione supportata per l'esecuzione ETL degli script sugli endpoint di sviluppo.

  Per ulteriori informazioni sulle AWS Glue versioni disponibili e sulle versioni corrispondenti di Spark e Python, consulta la versione Glue nella guida per sviluppatori.

  Endpoint di sviluppo creati senza specificare una versione Glue impostata in modo predefinito su Glue 0.9.

  È possibile specificare una versione del supporto Python per gli endpoint di sviluppo utilizzando il Arguments parametro in o. CreateDevEndpoint UpdateDevEndpoint APIs Se non vengono forniti argomenti, per impostazione predefinita la versione è Python 2.

• NumberOfWorkers: numero (intero).

  Il numero di worker di un workerType definito allocati all'endpoint di sviluppo.

  Il numero massimo di worker che è possibile definire è 299 G.1X e 149 per G.2X.

• NumberOfNodes: numero (intero).

  Il numero di unità di elaborazione AWS Glue dati (DPUs) assegnate a questo. DevEndpoint

• AvailabilityZone— UTF -8 stringhe.

  La zona di AWS disponibilità in cui si DevEndpoint trova.

• VpcId— UTF -8 corde.

  L'ID del cloud privato virtuale (VPC) utilizzato da questoDevEndpoint.

• ExtraPythonLibsS3Path— UTF -8 stringhe.

  Percorsi a una o più librerie Python in un bucket Amazon S3 che devono essere caricati nel DevEndpoint. I valori multipli devono essere percorsi completi separati da virgola.

  Nota

  Con un DevEndpoint è possibile utilizzare solo librerie Python pure. Le librerie che si basano sulle estensioni C, come la libreria di analisi dati Python pandas, non sono ancora supportate.

• ExtraJarsS3Path— UTF -8 corde.

  Percorsi a uno o più file .jar Java in un bucket S3 che devono essere caricati nel DevEndpoint.

  Nota

  Con un DevEndpoint è possibile utilizzare solo librerie Java/Scala pure.

• FailureReason— UTF -8 corde.

  Il motivo di un errore corrente in questo DevEndpoint.

• LastUpdateStatus— UTF -8 corde.

  Lo stato dell'ultimo aggiornamento.

• CreatedTimestamp: timestamp.

  Il momento in cui è DevEndpoint stato creato.

• LastModifiedTimestamp: timestamp.

  Il momento dell'ultima modifica di questo DevEndpoint.

• PublicKey— UTF -8 corde.

  La chiave pubblica che deve essere utilizzata da questo DevEndpoint per l'autenticazione. Questo attributo viene fornito per la compatibilità con le versioni precedenti, in quanto l'attributo consigliato da usare è quello delle chiavi pubbliche.

• PublicKeys— Un array di UTF -8 stringhe, non più di 5 stringhe.

  Elenco di chiavi pubbliche che devono essere utilizzate da DevEndpoints per l'autenticazione. L'uso di questo attributo è preferibile rispetto a una singola chiave pubblica, perché le chiavi pubbliche permettono di avere una chiave privata diversa per ogni client.

  Nota

  Se è già stato creato un endpoint con una chiave pubblica, è necessario rimuovere tale chiave per poter impostare un elenco di chiavi pubbliche. Richiama l'UpdateDevEndpointAPIoperazione con il contenuto della chiave pubblica nell'deletePublicKeysattributo e l'elenco delle nuove chiavi nell'addPublicKeysattributo.

• SecurityConfiguration— UTF -8 stringhe, di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondente a. Single-line string pattern

  Nome della struttura SecurityConfiguration da utilizzare con questo DevEndpoint.

• Arguments – Una matrice di mappe con coppie chiave-valore, non superiore alle 100 coppie.

  Ogni chiave è una stringa di UTF -8.

  Ogni valore è una stringa di UTF -8.

  Mappa di argomenti usati per configurare DevEndpoint.

  Gli argomenti validi sono:

  • "--enable-glue-datacatalog": ""

  È possibile specificare una versione del supporto Python per gli endpoint di sviluppo utilizzando il Arguments parametro in o. CreateDevEndpoint UpdateDevEndpoint APIs Se non vengono forniti argomenti, per impostazione predefinita la versione è Python 2.

Campi

• ExtraPythonLibsS3Path— UTF -8 corde.

  I percorsi a una o più librerie Python in un bucket Amazon Simple Storage Service (Amazon S3) che devono essere caricati nel DevEndpoint. I valori multipli devono essere percorsi completi separati da virgola.

  Nota

  Con un DevEndpoint è possibile utilizzare solo librerie Python pure. Le librerie che si basano sulle estensioni C, come la libreria di analisi dati Python pandas, non sono ancora supportate.

• ExtraJarsS3Path— UTF -8 corde.

  Percorsi a uno o più file .jar Java in un bucket S3 che devono essere caricati nel DevEndpoint.

  Nota

  Con un DevEndpoint è possibile utilizzare solo librerie Java/Scala pure.

• CreateDevEndpoint azione (Python: create_dev_endpoint)

• UpdateDevEndpoint azione (Python: update_dev_endpoint)

• DeleteDevEndpoint azione (Python: delete_dev_endpoint)

• GetDevEndpoint azione (Python: get_dev_endpoint)

• GetDevEndpoints azione (Python: get_dev_endpoints)

• BatchGetDevEndpoints azione (Python: batch_get_dev_endpoints)

• ListDevEndpoints azione (Python: list_dev_endpoints)

Richiesta

• EndpointName— Richiesto: -8 stringhe. UTF

  Il nome da assegnare al nuovo DevEndpoint.

• RoleArn— Richiesto: UTF -8 stringhe, corrispondente aAWS IAM ARN string pattern.

  Il IAM ruolo diDevEndpoint.

• SecurityGroupIds— Un array di UTF -8 stringhe.

  Gruppo di sicurezza IDs per i gruppi di sicurezza che verranno utilizzati dal nuovoDevEndpoint.

• SubnetId— UTF -8 stringhe.

  La sottorete ID per il nuovo DevEndpoint da utilizzare.

• PublicKey— UTF -8 corde.

  La chiave pubblica che deve essere utilizzata da questo DevEndpoint per l'autenticazione. Questo attributo viene fornito per la compatibilità con le versioni precedenti, in quanto l'attributo consigliato da usare è quello delle chiavi pubbliche.

• PublicKeys— Un array di UTF -8 stringhe, non più di 5 stringhe.

  Elenco di chiavi pubbliche che devono essere usate dagli endpoint di sviluppo per l'autenticazione. L'uso di questo attributo è preferibile rispetto a una singola chiave pubblica, perché le chiavi pubbliche permettono di avere una chiave privata diversa per ogni client.

  Nota

  Se è già stato creato un endpoint con una chiave pubblica, è necessario rimuovere tale chiave per poter impostare un elenco di chiavi pubbliche. Chiama il UpdateDevEndpoint API con il contenuto della chiave pubblica nell'deletePublicKeysattributo e l'elenco delle nuove chiavi nell'addPublicKeysattributo.

• NumberOfNodes: numero (intero).

  Il numero di unità di elaborazione AWS Glue dati (DPUs) da assegnare a questoDevEndpoint.

• WorkerType— UTF -8 stringhe (valori validi: Standard="" | G.1X="" | | G.2X="" | G.025X="" | G.4X="" | G.8X="" |Z.2X="").

  Il tipo di worker predefinito allocato all'endpoint di sviluppo. Accetta un valore Standard, G.1X o G.2X.

  • Per il tipo di Standard worker, ogni worker fornisce 4 vCPU, 16 GB di memoria e un disco da 50 GB e 2 executor per lavoratore.

  • Per il tipo di G.1X worker, ogni worker esegue il mapping su 1 DPU (4 vCPU, 16 GB di memoria, disco da 64 GB) e fornisce 1 esecutore per lavoratore. Consigliamo questo tipo di worker per i processi ad alto consumo di memoria.

  • Per il tipo di G.2X worker, ogni worker esegue il mapping su 2 DPU (8 vCPU, 32 GB di memoria, 128 GB di disco) e fornisce 1 esecutore per lavoratore. Consigliamo questo tipo di worker per i processi ad alto consumo di memoria.

  Problema noto: quando viene creato un endpoint di sviluppo con la G.2X WorkerType configurazione, i driver Spark per l'endpoint di sviluppo verranno eseguiti su 4 vCPU, 16 GB di memoria e un disco da 64 GB.

• GlueVersion— UTF -8 stringhe, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Custom string pattern #47

  La versione Glue determina le versioni di Apache Spark e Python supportate. AWS Glue La versione Python indica la versione supportata per l'esecuzione ETL degli script sugli endpoint di sviluppo.

  Per ulteriori informazioni sulle AWS Glue versioni disponibili e sulle versioni corrispondenti di Spark e Python, consulta la versione Glue nella guida per sviluppatori.

  Endpoint di sviluppo creati senza specificare una versione Glue impostata in modo predefinito su Glue 0.9.

  È possibile specificare una versione del supporto Python per gli endpoint di sviluppo utilizzando il Arguments parametro in o. CreateDevEndpoint UpdateDevEndpoint APIs Se non vengono forniti argomenti, per impostazione predefinita la versione è Python 2.

• NumberOfWorkers: numero (intero).

  Il numero di worker di un workerType definito allocati all'endpoint di sviluppo.

  Il numero massimo di worker che è possibile definire è 299 G.1X e 149 per G.2X.

• ExtraPythonLibsS3Path— UTF -8 stringhe.

  Percorsi a una o più librerie Python in un bucket Amazon S3 che devono essere caricati nel DevEndpoint. I valori multipli devono essere percorsi completi separati da virgola.

  Nota

  Con un DevEndpoint è possibile utilizzare solo librerie Python pure. Le librerie che si basano sulle estensioni C, come la libreria di analisi dati Python pandas, non sono ancora supportate.

• ExtraJarsS3Path— UTF -8 corde.

  Percorsi a uno o più file .jar Java in un bucket S3 che devono essere caricati nel DevEndpoint.

• SecurityConfiguration— UTF -8 stringhe, di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondente a. Single-line string pattern

  Nome della struttura SecurityConfiguration da utilizzare con questo DevEndpoint.

• Tags – Una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie.

  Ogni chiave è una stringa di UTF -8, lunga non meno di 1 o più di 128 byte.

  Ogni valore è una stringa di UTF -8, lunga non più di 256 byte.

  I tag da usare con questo DevEndpoint. È possibile utilizzare i tag per limitare l'accesso a. DevEndpoint Per ulteriori informazioni sui tag in AWS Glue, consulta AWS Tags AWS Glue in nella guida per sviluppatori.

• Arguments: una matrice di mappe con coppie chiave-valore, non superiore alle 100 coppie.

  Ogni chiave è una stringa di UTF -8.

  Ogni valore è una stringa di UTF -8.

  Mappa di argomenti usati per configurare DevEndpoint.

Risposta

• EndpointName— UTF -8 stringhe.

  Il nome assegnato al nuovo DevEndpoint.

• Status— UTF -8 corde.

  Lo stato corrente del nuovo DevEndpoint.

• SecurityGroupIds— Un array di UTF -8 stringhe.

  I gruppi di sicurezza assegnati al nuovo DevEndpoint.

• SubnetId— UTF -8 corde.

  L'ID di sottorete assegnato al nuovo DevEndpoint.

• RoleArn— UTF -8 stringhe, corrispondenti aAWS IAM ARN string pattern.

  L'Amazon Resource Name (ARN) del ruolo assegnato al nuovoDevEndpoint.

• YarnEndpointAddress— UTF -8 stringhe.

  L'indirizzo dell'YARNendpoint utilizzato da questoDevEndpoint.

• ZeppelinRemoteSparkInterpreterPort: numero (intero).

  La porta Apache Zeppelin per l'interprete Apache Spark remoto.

• NumberOfNodes: numero (intero).

  Il numero di unità di elaborazione AWS Glue dati (DPUs) assegnate a questo. DevEndpoint

• WorkerType— UTF -8 stringhe (valori validi: Standard="" | G.1X="" | | G.2X="" | G.025X="" | G.4X="" | G.8X="" |Z.2X="").

  Il tipo di worker predefinito allocato all'endpoint di sviluppo. Può essere un valore Standard, G.1X o G.2X.

• GlueVersion— UTF -8 stringhe, di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondente a. Custom string pattern #47

  La versione Glue determina le versioni di Apache Spark e Python supportate. AWS Glue La versione Python indica la versione supportata per l'esecuzione ETL degli script sugli endpoint di sviluppo.

  Per ulteriori informazioni sulle AWS Glue versioni disponibili e sulle versioni corrispondenti di Spark e Python, consulta la versione Glue nella guida per sviluppatori.

• NumberOfWorkers: numero (intero).

  Il numero di worker di un workerType definito allocati all'endpoint di sviluppo.

• AvailabilityZone— UTF -8 corde.

  La zona di AWS disponibilità in cui si DevEndpoint trova.

• VpcId— UTF -8 corde.

  L'ID del cloud privato virtuale (VPC) utilizzato da questoDevEndpoint.

• ExtraPythonLibsS3Path— UTF -8 stringhe.

  Percorsi a una o più librerie Python in un bucket S3 che verranno caricati nel DevEndpoint.

• ExtraJarsS3Path— UTF -8 corde.

  Percorsi a uno o più file .jar Java in un bucket S3 che devono essere caricati nel DevEndpoint.

• FailureReason— UTF -8 corde.

  Il motivo di un errore corrente in questo DevEndpoint.

• SecurityConfiguration— UTF -8 stringhe, di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondente a. Single-line string pattern

  Nome della struttura SecurityConfiguration da utilizzare con questo DevEndpoint.

• CreatedTimestamp: timestamp.

  Il momento in cui questo DevEndpoint è stato creato.

• Arguments – Una matrice di mappe con coppie chiave-valore, non superiore alle 100 coppie.

  Ogni chiave è una stringa di UTF -8.

  Ogni valore è una stringa di UTF -8.

  Mappa di argomenti usati per configurare questo DevEndpoint.

  Gli argomenti validi sono:

  • "--enable-glue-datacatalog": ""

  È possibile specificare una versione del supporto Python per gli endpoint di sviluppo utilizzando il Arguments parametro in o. CreateDevEndpoint UpdateDevEndpoint APIs Se non vengono forniti argomenti, per impostazione predefinita la versione è Python 2.

Errori

• AccessDeniedException

• AlreadyExistsException

• IdempotentParameterMismatchException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

• ResourceNumberLimitExceededException

Richiesta

• EndpointName— Richiesto: -8 stringhe. UTF

  Nome del DevEndpoint da aggiornare.

• PublicKey— UTF -8 corde.

  La chiave pubblica che deve essere utilizzata da DevEndpoint.

• AddPublicKeys— Un array di UTF -8 stringhe, non più di 5 stringhe.

  L'elenco delle chiavi pubbliche che devono essere utilizzate da DevEndpoint.

• DeletePublicKeys— Un array di UTF -8 stringhe, non più di 5 stringhe.

  Elenco di chiavi pubbliche da eliminare da DevEndpoint.

• CustomLibraries: un oggetto DevEndpointCustomLibraries.

  Librerie Python o Java personalizzate da caricare nel DevEndpoint.

• UpdateEtlLibraries: booleano.

  True se l'elenco di librerie personalizzate da caricare nell'endpoint di sviluppo deve essere aggiornato, in caso contrario False.

• DeleteArguments— Un array di UTF -8 stringhe.

  L'elenco delle chiavi di argomento da eliminare dalla mappa di argomenti utilizzati per configurare il DevEndpoint.

• AddArguments – Una matrice di mappe con coppie chiave-valore, non superiore alle 100 coppie.

  Ogni chiave è una stringa di UTF -8.

  Ogni valore è una stringa di UTF -8.

  La mappa di argomenti da aggiungere alla mappa di argomenti utilizzati per configurare il DevEndpoint.

  Gli argomenti validi sono:

  • "--enable-glue-datacatalog": ""

  È possibile specificare una versione del supporto Python per gli endpoint di sviluppo utilizzando il Arguments parametro in o. CreateDevEndpoint UpdateDevEndpoint APIs Se non vengono forniti argomenti, per impostazione predefinita la versione è Python 2.

Risposta

• Nessun parametro di risposta.

Errori

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

Richiesta

• EndpointName— Richiesto: -8 stringhe. UTF

  Nome della DevEndpoint.

Risposta

• Nessun parametro di risposta.

Errori

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Richiesta

• EndpointName— Richiesto: UTF -8 stringhe.

  Nome del DevEndpoint per cui recuperare le informazioni.

Risposta

• DevEndpoint: un oggetto DevEndpoint.

  Una definizione del DevEndpoint.

Errori

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Richiesta

• MaxResults: numero (intero), non inferiore a 1 o superiore a 1000.

  La dimensione massima di informazioni da restituire.

• NextToken— UTF -8 stringhe.

  Un token di continuazione, se si tratta di una chiamata di continuazione.

Risposta

• DevEndpoints: una matrice di oggetti DevEndpoint.

  Un elenco di definizioni di DevEndpoint.

• NextToken— UTF -8 corde.

  Un token di continuazione, se non sono ancora state restituite tutte le definizioni di DevEndpoint.

Errori

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Richiesta

• customerAccountId— UTF -8 stringhe.

  L'ID AWS dell'account.

• DevEndpointNames— Obbligatorio: un array di UTF -8 stringhe, non meno di 1 o più di 25 stringhe.

  L'elenco dei nomi di DevEndpoint che potrebbero essere i nomi restituiti dall'operazione ListDevEndpoint.

Risposta

• DevEndpoints: una matrice di oggetti DevEndpoint.

  Un elenco di definizioni di DevEndpoint.

• DevEndpointsNotFound— Un array di UTF -8 stringhe, non meno di 1 o più di 25 stringhe.

  Un elenco di DevEndpoints non trovati.

Errori

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Richiesta

• NextTokenUTF— -8 stringhe.

  Token di continuazione, se si tratta di una richiesta di continuazione.

• MaxResults: numero (intero), non inferiore a 1 o superiore a 1000.

  La dimensione massima di un elenco da restituire.

• Tags – Una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie.

  Ogni chiave è una stringa di UTF -8, lunga non meno di 1 o più di 128 byte.

  Ogni valore è una stringa di UTF -8, lunga non più di 256 byte.

  Specifica che vengono restituite solo le risorse con tag.

Risposta

• DevEndpointNames— Una matrice di UTF -8 stringhe.

  I nomi di tutti i DevEndpoint nell'account oppure i DevEndpoint con i tag specificati.

• NextToken— UTF -8 corde.

  Token di continuazione, se l'elenco restituito non contiene l'ultimo parametro disponibile.

Errori

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException