Airflow作业需要正确设置代理才能与互联网通信。可以在Airflow配置中设置HTTP_PROXY和HTTPS_PROXY环境变量,或者在代码中使用相应的库设置代理。
代码示例:
在Airflow配置中设置代理:
# 设置HTTP代理
export HTTP_PROXY=http://proxy.example.com:8080
export http_proxy=http://proxy.example.com:8080
# 设置HTTPS代理
export HTTPS_PROXY=http://proxy.example.com:8080
export https_proxy=http://proxy.example.com:8080
在代码中使用requests库设置代理:
import requests
#设置HTTP代理
proxy = {
"http": "http://proxy.example.com:8080",
"https": "http://proxy.example.com:8080",
}
response = requests.get(url, proxies=proxy)
#设置socks5代理
proxy = {
"socks5": "socks5://proxy.example.com:1080",
}
response = requests.get(url, proxies=proxy)