更改Google Cloud Dataflow BigQuery优先级

Question

我有一个在Google Cloud DataFlow上运行的Beam作业从BigQuery读取数据。当我运行作业时，作业需要几分钟的时间才能开始从（微小）表读取数据。结果表明，数据流作业发送的是一个BigQuery作业，该作业以批处理模式运行，而不是以交互模式运行。如何切换到在Apache Beam中立即运行？我在API中找不到一个方法来更改优先级。

Answer 1

您可以通过传递一个优先级参数来配置以“交互式”优先级运行查询。有关详细信息，请查看这个Github示例。

请注意，您可能达到了BigQuery限制和配额之一，因为当您使用batch时，如果您达到了速率限制，查询将排队并稍后重试。与交互式查询相反，如果达到这些限制，查询将立即失败。这是因为BigQuery假设交互式查询是您需要立即运行的。

Answer 2

也许Googler会纠正我，但不，您不能将其从批处理更改为交互式，因为它没有被Beam的API公开。

从org.apache.beam.sdk.io.gcp.bigqueryio.java（此处）：

private void executeQuery(
    String executingProject,
    String jobId,
    TableReference destinationTable,
    JobService jobService) throws IOException, InterruptedException {
  JobReference jobRef = new JobReference()
      .setProjectId(executingProject)
      .setJobId(jobId);

  JobConfigurationQuery queryConfig = createBasicQueryConfig()
      .setAllowLargeResults(true)
      .setCreateDisposition("CREATE_IF_NEEDED")
      .setDestinationTable(destinationTable)
      .setPriority("BATCH") <-- NOT EXPOSED
      .setWriteDisposition("WRITE_EMPTY");

  jobService.startQueryJob(jobRef, queryConfig);
  Job job = jobService.pollJob(jobRef, JOB_POLL_MAX_RETRIES);
  if (parseStatus(job) != Status.SUCCEEDED) {
    throw new IOException(String.format(
        "Query job %s failed, status: %s.", jobId, statusToPrettyString(job.getStatus())));
  }
}

如果查询以批处理模式运行对您来说确实是一个问题，那么一种解决方法可以是：

1. 直接使用BigQuery API，滚动您自己的初始请求，并将优先级设置为interactive。
2. 将步骤1的结果写入临时表
3. 在束流管道中，使用bigQueryIo.read.from()
读取临时表