将数据从google云存储加载到BigQuery

Question

我需要从Google Cloud Storage（GCS->Temp Table->Main table)中加载100个表到BigQuery。我创建了一个python进程，将数据加载到BigQuery中，并在AppEngine中进行调度。因为AppEngine最多有10min的超时时间。我已经在异步模式下提交了作业，并在稍后的时间点检查了作业状态。由于我有100个表，需要创建一个监控系统来检查作业负载的状态。

需要维护几个表和一堆视图来检查作业状态。

操作过程并不复杂。还有更好的办法吗？

谢谢

Answer 1

当我们这样做时，我们只是使用了一个消息队列，比如Beanstalkd，在这里我们推送了一些稍后必须检查的内容，然后我们编写了一个订阅通道并处理任务的小worker。

另一方面：BigQuery支持直接从Google云存储中查询数据。

用例:
-通过从联邦数据源（BigQuery外部的一个位置）查询数据，并将清除的结果写入BigQuery存储，一次加载和清除数据。
-将少量频繁更改的数据与其他表联接。作为联邦数据源，频繁变化的数据不需要每次更新都重新加载。