（BigQuery PY客户端库v0.28）-从表“查询”作业获取结果

Question

我正在学习使用Python客户端库v0的BigQueryAPI。28https://googlecloudplatform.github.io/google-cloud-python/latest/bigquery/usage.html#run-简单查询

编写了以下简单代码以从表中获取数据

1） 创建客户端对象

client_ = bigquery.Client.from_service_account_json('/Users/xyz/key.json')

2） 开始新的异步查询作业

QUERY =  'SELECT visitid FROM `1234567.ga_sessions_20180101`'
query_job = client_.query(QUERY
                      , job_id=str(uuid.uuid4()))

3）轮询，直到查询完成

while (query_job.state == 'RUNNING'):
    time.sleep(5)
    query_job.reload()

4） 在迭代中获取结果

query_job.reload()        
iter = query_job.result() 

在这个阶段，我想获取表中有多少行。根据文件，GitHub代码iter属于bigquery类型。桌子具有属性的行迭代器[层总行数][1]

5）然而，在我打印的这个阶段：

print(iter.total_rows)

它一直返回无

我很确定这个表不是空的干查询格式正确！

干杯

Answer 1

RowIterator返回无的当前行为确实令人困惑。幸运的是，根据这个问题，tswast 10天前的评论表明开发人员正在寻找更好的解决方案。

目前，。只有迭代开始时，才会初始化总行数。（为了清楚起见，我将iter变量重命名为row\u iter）

row_iter = query_job.result()
itr = iter(row_iter)
first_row = next(itr)
print(row_iter.total_rows)  # Now you get a number instead of None.

这很难看，因为要继续迭代，我们必须要么以不同的方式处理第一行，要么再次调用row_iter=query_job.result（）。

当前工作的替代方案是使用query_job的值。_query_results.total_rows。不幸的是，这是作弊，因为_query_results是私有的，所以没有理由期望这在未来会起作用。

如果tswast的建议得到实施，则row\u iter。总行数将在开始时初始化，正如您所期望的那样。

在我的代码中，我会用这样的东西

try:
    num_rows = row_iter.total_rows or query_job._query_results.total_rows
except NameError:
    num_rows = None

与未来行为兼容，同时在必要时返回临时解决方案。

Answer 2

您还需要检查query_job.error_result以确保查询成功。

您还可以在UI中看到您的作业，这对于调试很有用，使用项目id和作业id：

https://bigquery.cloud.google.com/results/projectid： jobid

此外，query_job.result（）已经等待作业完成，因此不需要轮询。