AirflowSSHOperator执行Python脚本时超时
创始人
2024-08-02 11:01:37
0次
- 确认SSH连接是否可行,包括用户名、IP地址和端口号等。
- 在SSHOperator中添加超时时间参数timeout,例如:
SSHOperator(
ssh_conn_id='ssh_conn',
command='/usr/local/bin/python /path/to/your/python/script.py',
timeout=300,
task_id='task_id'
)
注意:timeout单位为秒。
- 调整系统设置,增加系统最大socket连接数等参数。
- 假如任务的执行时间超过超时时间,可以通过调整任务执行时的并发数或优化代码等方式来减小任务执行时间。
相关内容