在Airflow上运行python脚本时，我不断收到“[错误101]连接超时”

Question

当我尝试使用Google Cloud Composer提供的Python on Airflow调用API时，我一直收到“[Errno 101]连接超时”。

这是我的代码：

r1 = requests.post(
    url1,
    params=request1_params,
    headers=request1_headers
)

a_token = r1.json().get('access_token')

我试图触发DAG时的反应是：

[2021 10月04日01:21:33056]{taskinstance.py:1152}错误-HTTPSConnectionPool（host='xxx.com'，port=443）：url超过了最大重试次数：/sf/xxx/token？grant\u type=密码

我读过一些文章，您需要在发送请求时包含代理，但我应该使用什么代理？

感谢您的帮助！

编辑：我发现问题出在我使用的气流上。它说专用网络需要配置NAT。所以，在安装了几个库并设置了NAT之后，它现在可以向API发送请求了。

谢谢你所有的帮助。

Answer 1

这很可能与代理无关，而是一个格式错误的请求。这看起来像是OAuth流的一部分，但不使用运算符有什么特殊的原因吗？例如https://airflow.apache.org/docs/apache-airflow-providers-http/stable/operators.html#simplehttpoperator，您可以通过extra_options设置超时，因为这些超时来自请求库https://github.com/apache/airflow/blob/main/airflow/providers/http/operators/http.py#L58