BigQuery-在哪里可以找到错误流？

Question

我已将一个包含300K行的CSV文件从GCS上载到BigQuery，并收到以下错误：

在哪里可以找到错误流？

我已经更改了创建表配置以允许4000个错误并且它起作用了，所以它一定是消息中3894行的问题，但是这个错误消息并没有告诉我很多关于哪些行或为什么的信息。

谢谢

Answer 1

使用python客户端

from google.api_core.exceptions import BadRequest

job = client.load_table_from_file(*args, **kwargs)
try:
    result = job.result()
except BadRequest as ex:

    for err in ex.errors:
        print(err)
    raise
    # or alternatively
    # job.errors

Answer 2

您应该能够在BigQuery UI中单击作业历史记录，然后单击失败的加载作业。我刚才尝试加载一个无效的CSV文件，我看到的错误有：

Errors:
Error while reading data, error message: CSV table encountered too many errors, giving up. Rows: 1; errors: 1. Please look into the error stream for more details. (error code: invalid)
Error while reading data, error message: CSV table references column position 1, but line starting at position:0 contains only 1 columns. (error code: invalid)

第一个只是指示失败的通用消息，但第二个错误（来自“错误流”）是为失败提供更多上下文的错误，即CSV表引用列位置1，但从位置开始的行：0只包含1列。

编辑：给定作业ID，您还可以使用BigQuery CLI查看有关故障的完整信息。您将使用：

bq --format=prettyjson show -j <job ID>

Answer 3

我终于通过在终端中运行以下命令来查看错误流：

bq --format=prettyjson show -j <JobID>

它返回一个包含更多详细信息的JSON。在我的例子中是：

"message": "Error while reading data, error message: Could not parse '16.66666666666667' as int for field Course_Percentage (position 46) starting at location 1717164"