通过Python API加载JSONL数据时检索BigQuery验证错误

Question

将JSONL文件加载到BigQuery时，如何检索与验证错误相关的更多信息？（问题不是解决问题）

示例代码：

from google.cloud.bigquery import (
    LoadJobConfig,
    QueryJobConfig,
    Client,
    SourceFormat,
    WriteDisposition
)

# variables depending on the environment
filename = '...'
gcp_project_id = '...'
dataset_name = '...'
table_name = '...'
schema = [ ... ]

# loading data
client = Client(project=project_id)
dataset_ref = client.dataset(dataset_name)
table_ref = dataset_ref.table(table_name)
job_config = LoadJobConfig()
job_config.source_format = SourceFormat.NEWLINE_DELIMITED_JSON
job_config.write_disposition = WriteDisposition.WRITE_APPEND
job_config.schema = schema
LOGGER.info('loading from %s', filename)
with open(filename, "rb") as source_file:
    job = client.load_table_from_file(
        source_file, destination=table_ref, job_config=job_config
    )

    # Waits for table cloud_data_store to complete
    job.result()

在这里，我使用bigquery-模式生成器来生成模式（因为BigQuery只查看前100行）。

运行时可能会出错，并显示以下错误消息（google.api\u core.exceptions.BadRequest）：

400读取数据时出错，错误消息：JSON表遇到太多错误，放弃。行：1；错误：1。有关详细信息，请查看错误[]集合。

查看错误属性基本上不会提供任何新信息：

[{'reason': 'invalid',
  'message': 'Error while reading data, error message: JSON table encountered too many errors, giving up. Rows: 1; errors: 1. Please look into the errors[] collection for more details.'}]

我还查看了异常的\uu dict\uuuu，但没有透露任何进一步的信息。

尝试使用bq命令行加载表（在本例中没有明确的模式）会产生一条更有用的消息：

加载操作中的BigQuery错误：处理作业“…”时出错：提供的架构与表不匹配

我现在的问题是如何从Python API中检索到这样有用的消息？

这是一个可以添加的副本和过去的解决方法，以便默认显示更多信息。（可能有缺点）

import google.cloud.exceptions
import google.cloud.bigquery.job


def get_improved_bad_request_exception(
    job: google.cloud.bigquery.job.LoadJob
) -> google.cloud.exceptions.BadRequest:
    errors = job.errors
    result = google.cloud.exceptions.BadRequest(
        '; '.join([error['message'] for error in errors]),
        errors=errors
    )
    result._job = job
    return result


def wait_for_load_job(
    job: google.cloud.bigquery.job.LoadJob
):
    try:
        job.result()
    except google.cloud.exceptions.BadRequest as exc:
        raise get_improved_bad_request_exception(job) from exc

然后调用wait\u for\u load\u job（作业），而不是调用作业。result（）将直接导致更有用的异常（错误消息和错误属性）。

Answer 1

为了能够显示更有用的错误消息，您可以导入google。api\U核心。例外情况。BadRequest捕获异常，然后使用LoadJob属性错误从作业中获取详细的错误消息。

from google.api_core.exceptions import BadRequest
...
...
try:
    load_job.result()# Waits for the job to complete.
except BadRequest:
    for error in load_job.errors:
        print(error["message"])  # error is of type dictionary

为了测试，我使用了示例代码BQ load json data并更改了输入文件以产生错误。在文件中，我将"post_abbr"的值从字符串更改为数组值。

使用的文件：

{"name": "Alabama", "post_abbr": "AL"}
{"name": "Alaska", "post_abbr":  "AK"}
{"name": "Arizona", "post_abbr": [65,2]}

应用上面的代码段时，请参见下面的输出。最后一条错误消息显示关于接收非重复字段的数组的实际错误。

Error while reading data, error message: JSON table encountered too many errors, giving up. Rows: 3; errors: 1. Please look into the errors[] collection for more details.
Error while reading data, error message: JSON processing encountered too many errors, giving up. Rows: 3; errors: 1; max bad: 0; error percent: 0
Error while reading data, error message: JSON parsing error in row starting at position 78: Array specified for non-repeated field: post_abbr.