Apache Airflow与Google cloud pubsub的集成

Question

我对airflow很陌生，并且尝试使用apache airflow与google pubsub的集成，我猜这是在“airflow-300”JIRA下添加的。如果我在这里读错了，请纠正我。

另外，你能告诉我这封信是否已经发布或者什么时候发布吗？我们正在考虑在谷歌云存储上添加通知，一旦发生任何文件事件，我们希望在Airflow中触发一些工作流。

我似乎找不到任何关于如何使用它的文档。

如有任何建议，将不胜感激。

Answer 1

已经引入了气流集成。

from base64 import b64encode as b64e

m1 = {'data': b64e('Hello, World!'),
       'attributes': {'type': 'greeting'}
      }
m2 = {'data': b64e('Knock, knock')}
m3 = {'attributes': {'foo': ''}}

t1 = PubSubPublishOperator(
    topic='my_topic',
    messages=[m1, m2, m3],
    create_topic=True,
    dag=dag)

PubSubPullSensor(
    task_id='pub_sub_wait', 
    project='my_project',
    subscription='my-subscription',
    ack_messages=True)

参考：

https://github.com/apache/incubator-airflow/commit/d231dce37d753ed196a26d9b244ddf376385de38https://github.com/apache/incubator-airflow/commit/6645218092096e4b10fc737a62bacc2670e1d6dc