ApacheBeamPythonSDK0.6。0 BigQueryLink支持表分区？

Question

我已经使用他们的python SDK制作了一个beam管道的原型，并且能够使用BigQueryLink输出我的最终pcollection，使用以下方法可以很好地完成：

     beam.io.Write(beam.io.BigQuerySink('dataset.table', 
                                self.get_schema(),
       create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED,                                               
     write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE))

修改表以包含如下分区：dataset。表$20170517在尝试使用DirectRunner运行此管道时触发以下错误

"code"： 400，"消息"："无法从未分区的表中读取分区信息：

我研究了这里的示例，但没有发现分区使用的痕迹https://github.com/apache/beam/tree/master/sdks/python/apache_beam/examples

光束如何将数据存储到分区的大查询表中？




Answer 1

apache_beam Python SDK确实接受BigQueryLink的分区装饰器。使用不同的write_配置进行实验可以揭示更多信息。

>

WRITE_TRUNCATE不会写入表分区。在表名中使用$YYYYmmdd分区将导致此错误。这与googlepythonsdk行为不同，后者实际上会接受分区装饰器。

Table IDs must be alphanumeric (plus underscores) and 
must be at most 1024 characters long.