AWS Glue에서 Python 쉘 작업에 대한 작업 속성 구성

Python .egg 또는 .whl 파일을 만들려면

1. Virtual Private Cloud(VPC)에서 Amazon Redshift 클러스터를 생성하고 일부 데이터를 테이블에 추가합니다.

2. 클러스터를 만드는 데 사용한 VPC-SecurityGroup-Subnet 조합에 대해 AWS Glue 연결을 만듭니다. 연결이 성공인지 테스트합니다.

3. redshift_example이라는 디렉터리를 생성하고 setup.py라는 파일을 생성합니다. setup.py에 다음 코드를 붙여넣습니다.

   from setuptools import setup
   
   setup(
       name="redshift_module",
       version="0.1",
       packages=['redshift_module']
   ) 
   

4. redshift_example 디렉터리에 redshift_module 디렉터리를 만듭니다. redshift_module 디렉터리에서 __init__.py 및 pygresql_redshift_common.py라는 파일을 만듭니다.

5. __init__.py 파일은 비워둡니다. pygresql_redshift_common.py에 다음 코드를 붙여넣습니다. port, db_name, user 및 password_for_user를 Amazon Redshift 클러스터에 해당하는 세부 정보로 바꿉니다. table_name을 Amazon Redshift의 테이블 이름으로 바꿉니다.

   import pg
   
   
   def get_connection(host):
       rs_conn_string = "host=%s port=%s dbname=%s user=%s password=%s" % (
           host, port, db_name, user, password_for_user)
   
       rs_conn = pg.connect(dbname=rs_conn_string)
       rs_conn.query("set statement_timeout = 1200000")
       return rs_conn
   
   
   def query(con):
       statement = "Select * from table_name;"
       res = con.query(statement)
       return res
       
   

6. 아직 이동하지 않은 경우 redshift_example 디렉터리로 변경합니다.

7. 다음 중 하나를 수행합니다.

   • .egg 파일을 생성하려면 다음 명령을 실행합니다.

     python setup.py bdist_egg

   • .whl 파일을 생성하려면 다음 명령을 실행합니다.

     python setup.py bdist_wheel

8. 이전 명령에 필요한 종속성을 설치합니다.

9. 해당 명령은 dist 디렉터리에서 파일을 생성합니다.

   • egg 파일을 만든 경우, 이름은 redshift_module-0.1-py2.7.egg입니다.

   • wheel 파일을 만든 경우, 이름은 redshift_module-0.1-py2.7-none-any.whl입니다.

   이 파일을 Amazon S3에 업로드합니다.

   이 예제에서 업로드된 파일 경로는 s3://DOC-EXAMPLE-BUCKET/EGG-FILE 또는 s3://DOC-EXAMPLE-BUCKET/WHEEL-FILE입니다.

10. AWS Glue 작업의 스크립트로 사용할 Python 파일을 생성하고 다음 코드를 파일에 추가합니다.

    from redshift_module import pygresql_redshift_common as rs_common
    
    con1 = rs_common.get_connection(redshift_endpoint)
    res = rs_common.query(con1)
    
    print "Rows in the table cities are: "
    
    print res
          
    

11. 이전 파일을 Amazon S3에 업로드합니다. 이 예제에서 업로드된 파일 경로는 s3://DOC-EXAMPLE-BUCKET/scriptname.py입니다.

12. 이 스크립트를 사용하여 Python 셸 작업을 생성합니다. AWS Glue 콘솔의 [작업 속성(Job properties)] 페이지에서 Python 라이브러리 경로(Python library path) 상자에 .egg/.whl 파일의 경로를 지정합니다. 여러 .egg/.whl 파일 및 Python 파일이 있으면 이 상자에 쉼표로 구분된 목록을 제공합니다.

    .egg 파일을 수정하거나 이름을 바꿀 때 파일 이름은 “python setup.py bdist_egg” 명령으로 생성된 기본 이름을 사용하거나 Python 모듈 명명 규칙을 준수해야 합니다. 자세한 내용은 Python 코드 스타일 가이드를 참조하십시오.

    AWS CLI를 사용하여 다음 예와 같이 명령으로 작업을 생성하십시오.

    aws glue create-job --name python-redshift-test-cli --role Role --command '{"Name" :  "pythonshell", "ScriptLocation" : "s3://DOC-EXAMPLE-BUCKET/scriptname.py"}' 
         --connections Connections="connection-name" --default-arguments '{"--extra-py-files" : ["s3://DOC-EXAMPLE-BUCKET/EGG-FILE", "s3://DOC-EXAMPLE-BUCKET/WHEEL-FILE"]}'
    

    작업이 실행되면 스크립트는 Amazon Redshift 클러스터의 table_name 테이블에 생성된 행을 인쇄합니다.