如何从AppEngine管道捕获BigQuery加载错误

Question

我在AppEngine上构建了一个管道，将数据从云存储加载到BigQuery。这很好用。。直到出现任何错误。如何从AppEngine代码中通过BigQuery加载异常？

管道中的代码如下所示：

#Run the job
credentials = AppAssertionCredentials(scope=SCOPE)
http = credentials.authorize(httplib2.Http())
bigquery_service = build("bigquery", "v2", http=http)
jobCollection = bigquery_service.jobs()
result = jobCollection.insert(projectId=PROJECT_ID,
                              body=build_job_data(table_name, cloud_storage_files))
#Get the status
while (not allDone and not runtime.is_shutting_down()):
    try:
        job = jobCollection.get(projectId=PROJECT_ID,
                               jobId=insertResponse).execute()
        #Do something with job.get('status')
except:
    exc_type, exc_value, exc_traceback = sys.exc_info()
    logging.error(traceback.format_exception(exc_type, exc_value, exc_traceback))
    time.sleep(30)

这会给我状态错误或主要连接错误，但我正在寻找BigQuery的功能错误，例如字段格式转换错误、模式结构问题或BigQuery在尝试将行插入表时可能遇到的其他问题。

如果BigQuery这边发生任何“功能”错误，这段代码将成功运行并正常完成，但BigQuery上不会写表。发生这种情况时不容易调试...

Answer 1

这里的关键是粘贴代码的这一部分：

except:
    exc_type, exc_value, exc_traceback = sys.exc_info()
    logging.error(traceback.format_exception(exc_type, exc_value, exc_traceback))
    time.sleep(30)

这个“except”捕获每个异常，记录它，并让过程继续，而不考虑重新尝试。

问题是，你想做什么？至少“做点什么”评论的意图是存在的。

建议考虑应用引擎的任务队列来检查状态，而不是等待30秒的循环。当任务出现异常时，会自动重试，您可以调整该行为。

Answer 2

您可以使用异常中的HTTP错误代码。BigQuery是一个REST API，因此返回的响应代码与此处的HTTP错误代码描述相匹配。

下面是一些处理可重试错误（连接、速率限制等）的代码，但当错误类型超出预期时会重新引发。

  except HttpError, err:
    # If the error is a rate limit or connection error, wait and
    # try again.
    # 403: Forbidden: Both access denied and rate limits.
    # 408: Timeout
    # 500: Internal Service Error
    # 503: Service Unavailable
    if err.resp.status in [403, 408, 500, 503]:
      print '%s: Retryable error %s, waiting' % (
          self.thread_id, err.resp.status,)
      time.sleep(5)
    else: raise

如果您想要更好的错误处理，请查看bq命令行客户端中的BigqueryError类（该类以前可以在code.google.com上找到，但随着最近切换到gCloud，它已经不存在了。但是如果您安装了gCloud，则安装中应该有bq.py和bigquery\u client.py文件）。