由于 AWS Glue 环境中默认没有安装 psycopg2 包,因此需要手动安装。可以在 AWS Glue 的 Python shell 中使用以下命令安装:
!pip install psycopg2-binary -t .
然后在脚本中导入 psycopg2,例如:
import sys
import logging
import psycopg2
logging.basicConfig()
logger = logging.getLogger('my_logger')
logger.setLevel(logging.DEBUG)
def main():
conn = psycopg2.connect(database='mydb', user='myuser', password='mypassword', host='myhost', port='5432')
logger.info("Connected to database")
if __name__ == '__main__':
main()
在运行 AWS Glue 作业或者脚本时,需要指定 --extra-py-files 参数来包含安装的 psycopg2 包,例如:
--extra-py-files s3://my-bucket/dependencies/psycopg2-2.8.6.tar.gz