Avro日期和时间与BigQuery的兼容性？

Question

BigQuery通常在加载Avro数据方面做得很好，但“bq load”在时间戳和其他使用Avro logicalType属性的日期/时间字段方面有很多问题。

1. 当BigQuery时间戳将Avro类型时间戳millis的数据解释为微秒时间戳（关闭1000）时，我的数据被破坏

我想我可以通过始终将数据加载到临时字段并使用CAST查询或将它们转换为其他字段来解决这些问题，但这并不能很好地扩展或支持模式演进或流。在Avro中使用定义明确的模式生成数据应该可以避免为不同的消费者再次转换数据的额外步骤。

BigQuery真的与Avro日期和时间不兼容吗？（还是我在做傻事）

还是这里的“bq加载”问题？有更好的方法加载Avro数据吗？

Answer 1

我在PostgreSQL表中拥有带有TIMESTAMP列的数据。在遵循https://github.com/spotify/spark-bigquery/issues/19.评论中的建议后，我能够通过Avro将其导入BigQuery

使用Kotlin中的PostgreSQL JDBC库，我将时间戳重新计算为BigQuery内部格式（自Unix时代开始以来的微秒数）

(object as java.sql.Timestamp).time * 1000

并将其放入我的avro记录中，键入Schema.type.LONG。

然后，我用JSON为我的数据创建了一个模式文件，其中我给出了“timestamp”列类型。

[{“name”：“job”，“type”：“string”，“mode”：“required”}，{“name”：“start”，“type”：“timestamp”，“mode”：“required”}，…]

（见开始字段）

最后，我用

bq mk test.test2 dataset.avro schema.json

结果是

<代码>$bq头部测试。测试2----------------------------------------作业| id |持续时间|开始|状态|节点|名称|---------------作业1 | 0.0 | 2012-04-01 00:00:00 | aStatus | aNodeName | |作业2 | 1 | 0.0 | 2020-02 00:02:02 |124; aStatus | aNodeName |------------

Web UI不允许为Avro文件指定模式，但CLI客户端和API允许。

我现在唯一的问题是处理时区问题。但这不是阿夫罗的问题。

Answer 2

所有BigQuery用户现在都可以公开理解Avro逻辑类型。有关更多详细信息，请参阅此处的文档页：https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro#logical_types

Answer 3

更新：现在支持此功能，请关注issuetracker.google。com/35905894获取更多信息。

正如华所说，BigQuery中不支持Avro逻辑类型，但支持的加载带有时间戳的Avro数据的方法是使用长Avro类型将数据加载到具有时间戳列的现有BigQuery表中。此外，该值应该是从EPOCH开始的微秒（而不是秒或毫秒）。例如，下面的Avro文件有一个长字段，值为140845209500000，表示“2014-08-19 12:41:35”。

Avro文件的架构：

% avro-tools getschema ~/dataset/simple_timestamp.avro
{
  "type" : "record",
  "name" : "FullName",
  "fields" : [ {
    "name" : "t",
    "type" : "long"
  } ]
}

将Avro文件加载到具有时间戳字段的表的示例：

bq mk --schema t:TIMESTAMP -t vimota.simple_timestamp
bq load --source_format=AVRO vimota.simple_timestamp ~/dataset/simple_timestamp.avro
bq head vimota.simple_timestamp:

+---------------------+
|          t          |
+---------------------+
| 2014-08-19 12:41:35 |
+---------------------+