Beam到BigQuery静默创建BigQuery表失败

Question

我正在构建一个从PubSub到Beam（Direct/Dataflow Runner）再到Big Query的数据管道。今天，我们开始遇到 beam IO BigQuery 连接器停止自动创建表并且未生成错误消息（日志记录级别设置为 DEBUG）的问题。

下面是BigQuery PTransform的一个片段:

beam.io.WriteToBigQuery(
                table=bq_table,
                schema=to_bq_schema(table),
                write_disposition=beam.io.BigQueryDisposition.WRITE_APPEND,
                create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED)

请注意，bq_table和模式应该是正确的。我们甚至尝试过将模式减少到单个列。

Answer 1

我能够解决问题。原来我的时间戳有 00000 时区意识。调试它非常困难，因为它静默失败，并且在运行器上附加调试器并非易事。