到BigQuery配额的数据流

Question

我发现了几个相关的问题，但谷歌团队对这个问题没有明确的答案：

是一个Cloud DataFlow作业，写入BigQuery，限制为每秒100K行每表（即BigQuery）的配额。BQ流限制）？

google数据流写入bigquery表性能

云数据流性能——我们的时代是否值得期待？

编辑：主要动机是找到一种方法来预测各种输入大小的运行时。

我成功地运行了显示

Answer 1

从您的消息中，听起来您是在批量而不是流式模式中执行管道。

在批处理模式下，在谷歌云数据流服务上运行的作业不使用BigQuery的流写入。相反，我们将所有要导入到GCS上的文件的行写入，然后调用“大查询加载”作业。请注意，这降低了您的成本（加载作业比流式写入便宜），并且总体上更高效（BigQuery执行批量加载可能比执行每行导入更快）。权衡的结果是，在整个作业成功完成之前，BigQuery中不提供任何结果。

加载作业不受特定行数/秒的限制，而是受每日配额的限制。

在流模式下，数据流确实使用BigQuery的流写入。在这种情况下，每秒100,000行的限制确实适用。如果超过该限制，Dataflow将得到一个quota_exceeded错误，然后将重试失败的插入。这种行为将有助于消除暂时超过BigQuery配额的短期峰值；如果您的管道长时间超过配额，这种失败和重试策略最终将作为一种反压力，减缓管道速度。

--

至于为什么您的作业需要2小时而不是45分钟，您的作业将有多个阶段连续进行，因此使用最快阶段的吞吐量不是估计端到端运行时间的准确方法。例如，直到数据流完成将所有行写入GCS之后，才会启动BigQuery加载作业。您的费率似乎合理，但如果您怀疑性能下降，请跟进。