如何使用java Dataflow将csv文件导出到bigqery表？

Question

我想从云桶中读取一个csv文件，并使用Java中的dataflow将其写入一个带有列的bigquery表。如何在写入BigQuery时将标题设置为csv文件？

Answer 1

这里有两个问题需要解决

1. 读取数据时跳过标头，并且
2. 使用标头正确填充teh bigquery表列。

因为（1）截至2019年6月，这还没有在本地实现，尽管您可以尝试跳过标题行中列出的选项--云数据流可能吗？。对于（2）来说，最简单的方法是在主程序中读取CSV的第一行，并将构造函数中的列名列表传递给DoFn，该DoFn将CSV行转换为准备写入BigQuery的TableRow对象。

public void CsvToBigquery(csvInputPattern, bigqueryTable) {
  final String[] columns = readAndSplitFirstLineOfFirstFile(csvInputPattern);
  Pipeline p = new Pipeline.create(...);
  p
    .apply(TextIO.read().from(csvInputPattern)
    .apply(Filter.by(new MatchIfNonHeader())
    .apply(ParDo.of(new DoFn<String, TableRow>() {
             ... // use columns here to TableRows
           })
    .apply(BigtableIO.write().withTableId(bigqueryTable)...);
}