Avro epoch datetime to bq时间戳

Question

我想将存储在GCS中的Avro文件中的数据加载到大查询表中。avro中的两个字段具有datetimc

我有几个字段的Avro文件，其中一个字段具有具有Long类型的Epoch时间值。对于该字段，我希望在使用命令行工具或控制台将Avro文件数据加载到Bigquery表时以“时间戳”格式加载值。例如：我有一个具有值1614004223589的列，我希望该值使用命令行工具或控制台2021-02-22 14:28:56UTC加载。首先，我在BQ中创建了空表，并将字段的数据类型保留为TIMESTAMP，然后使用CLI将数据加载到BQ表中。但是我没有2021-02-22 14:30:24而是1970-01-19 16:20:04.135924UTC

任何线索都将不胜感激。

Answer 1

这是因为Unix格式具有秒精度，但是BQ要求它以毫秒或微秒精度将列乘以1000，然后尝试使用函数TIMESTAMP_SECONDS协调它将工作。

您可以尝试以下解决方案以达到预期的要求。

步骤1：以源文件上可用的相同格式将数据加载到Bigquery。步骤2：在最近的表上创建一个视图，并在该视图中应用日期转换，进一步了解数据的始终引用视图。

替代解决方案：-步骤1：以GCS上可用的相同格式将数据加载到Bigquery。第2步：在调用数据之前，创建一个日期转换函数，并在Unix格式的日期上应用该函数。