超出BigQuery API限制错误

Question

tabledata期间出错。包含消息的列表：

API limit exceeded: Unable to return a row that exceeds the API limits. To retrieve the row, export the table.

未在中列出https://cloud.google.com/bigquery/troubleshooting-errors#errortable .

每次都会发生此错误。

我们可以正常地将此表导出到GCS中。结果看起来正常（没有非常大的行）。

我们设法在实际错误发生之前检索几个结果页。

com.google.api.client.googleapis.json.GoogleJsonResponseException: 403 Forbidden
{
  "code" : 403,
  "errors" : [ {
    "domain" : "global",
    "message" : "API limit exceeded: Unable to return a row that exceeds the API limits. To retrieve the row, export the table.",
    "reason" : "apiLimitExceeded"
  } ],
  "message" : "API limit exceeded: Unable to return a row that exceeds the API limits. To retrieve the row, export the table."
}
    at com.google.api.client.googleapis.json.GoogleJsonResponseException.from(GoogleJsonResponseException.java:145) ~[com.google.api-client.google-api-client-1.21.0.jar:1.21.0]
    at com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnError(AbstractGoogleJsonClientRequest.java:113) ~[com.google.api-client.google-api-client-1.21.0.jar:1.21.0]
    at com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnError(AbstractGoogleJsonClientRequest.java:40) ~[com.google.api-client.google-api-client-1.21.0.jar:1.21.0]
    at com.google.api.client.googleapis.services.AbstractGoogleClientRequest$1.interceptResponse(AbstractGoogleClientRequest.java:321) ~[com.google.api-client.google-api-client-1.21.0.jar:1.21.0]

这是什么意思？我们如何解决这个错误？

Answer 1

tabledata.list有两个与行相关的限制：

>

原始消息的字节大小必须小于10M。如果一行大于此大小，我们将无法检索它。

行中的最大字段值必须小于350000，即一行的叶字段数。

如果您遇到这个问题，通常只意味着请求中的第一行太大而无法返回，如果您跳过该行，以下行检索可能会起作用。您可以尝试仔细查看特定行以了解原因。

在将来，很可能会删除字段值限制，但由于API服务器的限制，我们仍然会有10M大小的限制。

Answer 2

很抱歉给您带来不便。

这是tabledata的一个已知问题。列表方法。问题是，我们有一些基础架构限制，目前无法从tabledata返回非常大的行。列表

large是一个相对的词。不幸的是，某些行在json中表示时大小很小，但在我们的内部格式中表示时可能会消耗大量内存。

当前的解决方法如错误消息中所述：导出表。

从长远来看，我们正在积极努力改进我们的制度，以克服这一限制。请继续关注：）