更新 BigQuery 架构时的延迟

Question

我在更新BigQuery模式时遇到了一些延迟问题。

我有一个表，它接收流式插入，并且架构在需要时会自动更新。问题在于，架构更新似乎在一段时间内不会生效，并且在该持续时间内进行的插入会删除新列的值。

我从2016年发现了这个答案，它说在更改生效之前可能会有长达5分钟的延迟。

这种情况仍然存在吗？您如何解决这一问题？如果答案是超时，那么在写入新列之前应该等待多长时间？

Answer 1

为了获得关于这个主题的更有意义的信息，我建议您阅读这篇很好的文章，发现Bigquery流插入生命周期，利用tabledata . insertall big query REST API方法。

实际上，正如文档所述，数据可用性和一致性是在实时分析任务中获取数据的最重要要求:

因为BigQuery的流式API是为高插入率而设计的，所以在与流式系统交互时，对底层表元数据的修改最终是一致的。在大多数情况下，元数据更改会在几分钟内传播，但在此期间，API响应可能会反映出表的不一致状态。

承认在某些情况下，元数据更改需要与流摄取内联，留档确认延迟完成此操作。即使在某些情况下旨在从表中收集元数据的缓存机制也不能保证数据更改，即在最短的时间内将流注入引用到不存在的表或整个列。由于GCP BigQuery无服务器平台的复杂性，该平台最初建立在Dremel模型之上，很难估计特定流任务的高吞吐量的延迟时间，因此GCP知识库中没有记录这一点。

同时，阅读此 Stack 线程，@Sean Chen 建议在启动流式摄取之前提供 Bigquery 元数据更改。