将时间戳格式从avro复制到redshift

Question

我正试图使用copy命令将avro文件复制到红移。该文件具有以下类型的列：

{'name':'timestamp','type':['null',{'logic type':'timestamp-millis','type':'long'}]}],

COPY table_name 
from 'fil_path.avro' 
iam_role 'the_role' 
FORMAT AS avro 'auto' 

原始字段值：1581306474335

无效的时间戳格式或值[YYYY-MM-DD hh24:mi:ssof]

但是，如果我添加以下一行，它就可以工作了：

timeformat 'epochmillisecs'

Answer 1

首先，关于时间格式：

正如Docs所述：

COPY命令尝试将源数据中的字符串隐式转换为目标列的数据类型。如果需要指定不同于默认行为的转换，或者如果默认转换导致错误，则可以通过指定以下参数来管理数据转换。

null

第二个解决方案：

1. 您不需要将timeformat传递给copy命令，但是您可以将epochtime作为varchar或text插入临时表中。
2. 然后，在将分段表中的epochtime插入到架构表中时，将其转换为:timestamp'epoch'+epoch_time/1000*interval'1 second'为time

其次，关于日期字段：

null

null

• 因此，天数将是架构表中有效的日期。