新bigquery表的“未找到:表”

Question

我使用python sdk创建一个新的bigquery表：

tableInfo = {
            'tableReference':{
                'datasetId':datasetId,
                'projectId':projectId,
                'tableId':targetTableId
            },
            'schema':schema
        }

result = bigquery_service.tables().insert(projectId=projectId,
                                          datasetId=datasetId,
                                          body=tableInfo).execute()

result变量包含创建的表信息，其中包含etag、id、kind、schema、selfLink、tableReference、type-因此，我假设表创建正确。

之后，当我调用＜code＞bigquery_service.tables（）.list（…）时，我甚至得到了表。

问题是：当在那之后插入时，我仍然（经常）得到一个错误：未找到：MY_TABLE_NAME

我的插入函数调用如下所示：

response = bigquery_service.tabledata().insertAll(
                        projectId=projectId,
                        datasetId=datasetId,
                        tableId=targetTableId,
                        body=body).execute()

我甚至多次重试插入，两次重试之间睡眠时间为3秒。有什么想法吗？

我的项目Id是< code>stylight-bi-testing

在10:00和12:00（UTC给出的时间）之间发生了很多故障

Answer 1

Sean/Nils，甚至我也有同样的问题。我先尝试流式插入，如果失败，我会继续创建表。但是在创建表后，流式插入仍然会失败一段时间（约30秒到4分钟），错误为“未找到表”。在此间隔之后，相同的流式插入会顺利通过。

Answer 2

根据您对我关于使用NOT_FOUND作为创建表的指标的问题的回答，这是有意的（尽管不可否认有些令人沮丧）行为。

流式插入路径缓存有关表的信息（以及用户插入到表中的授权）。这是因为 API 具有预期的高 QPS 特性。我们还会缓存某些负面响应，以便再次保护错误或滥用的客户端。其中一个缓存的否定响应是目标表不存在。我们始终在每台计算机的基础上执行此操作，但最近添加了一个额外的集中式缓存，以便所有计算机在返回第一个NOT_FOUND响应后几乎立即看到负缓存结果。

一般来说，我们建议表创建不要与insert请求一起发生，因为在一个发出数千个QPS的insert的系统中，一个表未命中可能会导致数千个表创建操作，这会加重我们系统的负担。相反，如果您事先知道可能的表集，我们建议在将表用作流目的地之前，执行一些定期的表创建过程。如果您的目标表本质上更具动态性，那么您可能需要在表创建完成后实现一个延迟。

为困难道歉。我们确实希望解决这个问题，但我们还没有任何时间表来解决这个问题。