Google Cloud Dataflow ETL（Datastore->Transform->BigQuery)

Question

null

1. 云数据流是否适合实现此管道？
2. 我们是否能够推送现有数据？有些类型有数百万个对象。
3. 正确的实施方法应该是什么？我们正在考虑两种方法。第一种方法是通过pub/sub，即对于现有数据，创建一个cron作业并将所有数据推送到pub/sub。对于任何新的更新，在DataStore中更新数据的同时，将数据推送到pub/sub。数据流管道将从pub/sub中挑选它并将其推送到BigQuery。第二种方法是在Dataflow中创建一个批处理管道，它将查询DataStore并将任何新数据推送到BigQuery。

问题是这两种方法可行吗？哪一个成本更合理？还有比以上两种更好的方法吗？

谢谢，

里兹塔克

Answer 1

数据流绝对可以用于此目的。事实上，Dataflow的可伸缩性应该使过程快速且相对容易。

这两种方法都应该奏效--我倾向于使用第二种方法，即使用批处理管道移动现有数据，然后使用流式管道通过Cloud Pub/Sub处理新数据。除了数据移动之外，Dataflow还允许对数据本身执行任意的分析/操作。

也就是说，BigQuery和Datastore可以直接连接。例如，请参见BigQuery文档中的从Cloud Datastore加载数据。