获取整个BigQuery项目历史记录的查询字节数

Question

在我们的项目历史选项卡中，我们有来自日常分析管道的数百个查询。我正在审查我们的BigQuery计费，并在这里分析查询成本似乎是开始的地方。

但是，没有用于处理的字节数或成本的列。我们可以点击...通过计费显示作业详细信息，但这对于评估数百个查询的成本效率不高或无用。

被接受的答案是否可以检索完整的查询历史并在谷歌bigquery中关联其成本？，即：

SELECT query, total_bytes_processed 
FROM 'region-us'.INFORMATION_SCHEMA.JOBS_BY_PROJECT 
WHERE 
project_id = 'you_project_id' AND user_email = '[e-mail]'

这没什么帮助。我已经为我们的项目运行了这个查询，由于某种原因，它只显示了上个月的几个查询，尽管我们的管道每天运行数百个查询。我甚至删除了project_id和email过滤器，以确保我没有过滤掉结果，仍然只有少量查询。。。

如何获取“项目历史记录”选项卡中所有查询的成本/字节？为什么JOB_BY_PROJECT查询中缺少大多数查询？

Answer 1

TL；大卫:这不可能

根据INFORMATION_SCHEMA上的公开文件，它仅限于“当前正在运行的作业，以及过去180天内完成的作业的历史记录”。您可以通过 BQ 命令行运行 bq ls，以检查查询INFORMATION_SCHEMA是否仍获得相同的结果。

最近出现了一个问题，即通过查询没有显示大量查询，您可以尝试再次查询以查看现在是否出现查询。但是如果问题仍然存在，您可以尝试读取和导出审计日志（如果您之前已经设置过）。作业的审计日志还包含有关计费字节的信息，更多详细信息和示例可以从BQ审计日志公共文档中找到。

此外，如果您需要永久性的内容，我建议您设置一种方法来存储审计日志或信息架构中的历史数据以进行查询。您可以查看这些关于设置审计日志并从中进行查询的相关文章，以及有关查询的更多示例。