Configurar propriedades de trabalho para trabalhos de shell Python no AWS Glue

É possível usar um trabalho de shell do Python para executar scripts do Python como um shell no AWS Glue. Com uma tarefa de shell do Python, é possível executar scripts compatíveis com Python 3.6 ou Python 3.9.

Limitações

Observe as seguintes limitações de trabalhos do shell do Python:

Definir propriedades de trabalho para trabalhos de shell Python

Estas seções descrevem a definição das propriedades de trabalho no AWS Glue Studio ou usando a AWS CLI.

AWS Glue Studio

Ao definir o trabalho de shell do Python no AWS Glue Studio, você fornece algumas das seguintes propriedades:

CLI

Também é possível criar um trabalho de Python shell (Shell do Python) usando a AWS CLI, como no exemplo a seguir.

 aws glue create-job --name python-job-cli --role Glue_DefaultRole 
     --command '{"Name" :  "pythonshell", "PythonVersion": "3.9", "ScriptLocation" : "s3://DOC-EXAMPLE-BUCKET/scriptname.py"}'  
     --max-capacity 0.0625

Por padrão, os trabalhos que você cria com a AWS CLI são definidos para Python 3. As versões válidas do Python são 3 (correspondendo à versão 3.6) e 3.9. Para especificar o Python 3.6, adicione a seguinte tupla ao parâmetro --command: "PythonVersion":"3"

Para especificar o Python 3.9, adicione a seguinte tupla ao parâmetro --command: "PythonVersion":"3.9"

Para definir a capacidade máxima usada por um trabalho de shell do Python, forneça o parâmetro --max-capacity. Para trabalhos de shell do Python, o parâmetro --allocated-capacity não pode ser usado.

Bibliotecas compatíveis com trabalhos de shell Python

Ao usar o Python 3.9, você pode escolher no shell do Python o conjunto de bibliotecas para usar conjuntos pré-empacotados de bibliotecas conforme suas necessidades. Você pode usar a opção library-set para escolher o conjunto de bibliotecas. Os valores válidos são analytics e none.

O ambiente para executar um trabalho de shell de Python é compatível com as seguintes bibliotecas:

Você pode usar a biblioteca NumPy em um trabalho de shell do Python para computação científica. Para obter mais informações, consulte NumPy. O exemplo a seguir mostra um script NumPy que pode ser usado em um trabalho de shell do Python. O script imprime "Hello world" e os resultados de vários cálculos matemáticos.

import numpy as np
print("Hello world")

a = np.array([20,30,40,50])
print(a)

b = np.arange( 4 )

print(b)

c = a-b

print(c)

d = b**2

print(d)        

Fornecer sua própria biblioteca Python

Usar o PIP

Ao usar o Python 3.9, o shell do Python permite que você forneça módulos adicionais ou versões diferentes do Python por trabalho. Você pode usar a opção --additional-python-modules com uma lista de módulos do Python separados por vírgulas para adicionar um novo módulo ou alterar a versão de um existente. Você não pode fornecer módulos Python personalizados hospedados no Amazon S3 com esse parâmetro ao usar trabalhos de shell do Python.

Por exemplo, para atualizar ou adicionar um novo módulo scikit-learn, use o seguinte par de chave e valor: "--additional-python-modules", "scikit-learn==0.21.3".

O AWS Glue usa o Python Package Installer (pip3) para instalar os módulos adicionais. Você pode passar opções adicionais de pip3 dentro do valor --additional-python-modules. Por exemplo, "scikit-learn==0.21.3 -i https://pypi.python.org/simple/". Quaisquer incompatibilidades ou limitações do pip3 se aplicam.

Usar um arquivo Egg ou Whl

Talvez você já tenha uma ou mais bibliotecas Python empacotadas como um arquivo .egg ou .whl. Se esse for o caso, você poderá especificá-las para o trabalho usando a AWS Command Line Interface (AWS CLI) no sinalizador "--extra-py-files", como no exemplo a seguir.

aws glue create-job --name python-redshift-test-cli --role role --command '{"Name" :  "pythonshell", "ScriptLocation" : "s3://MyBucket/python/library/redshift_test.py"}' 
     --connections Connections=connection-name --default-arguments '{"--extra-py-files" : ["s3://DOC-EXAMPLE-BUCKET/EGG-FILE", "s3://DOC-EXAMPLE-BUCKET/WHEEL-FILE"]}'

Se você não tiver certeza de como criar um arquivo .egg ou .whl de uma biblioteca Python, use as etapas a seguir. Este exemplo é aplicável a macOS, Linux e Windows Subsystem for Linux (WSL).

Use AWS CloudFormation com trabalhos de shell Python no AWS Glue

Você pode usar AWS CloudFormation com trabalhos de shell Python no AWS Glue. Veja um exemplo a seguir:

AWSTemplateFormatVersion: 2010-09-09
Resources:
  Python39Job:
    Type: 'AWS::Glue::Job'
    Properties:
      Command:
        Name: pythonshell
        PythonVersion: '3.9'
        ScriptLocation: 's3://bucket/location'
      MaxRetries: 0
      Name: python-39-job
      Role: RoleName           
        

O grupo do Amazon CloudWatch Logs para a saída de trabalhos de shell do Python é /aws-glue/python-jobs/output. Para erros, consulte o grupo de logs /aws-glue/python-jobs/error.