数据流批处理作业步骤完成后运行函数

Question

我知道我可以用云函数和PubSub通知来完成每个写入的文件，但我更喜欢只在整个文件夹完成时这样做一次。

谢了！

Answer 1

有两种方法可以做到这一点：

运行管道，并在管道结果上调用waituntilfinish(Python中的wait_until_finish)将执行延迟到管道完成之后，如下所示：

pipeline.run().waituntilfinish()；

您可以根据WaitIntilFinish的结果验证管道是否成功完成，然后从那里将文件夹的内容加载到BigQuery。这种方法唯一需要注意的是，您的代码不是数据流管道的一部分，因此如果您依赖管道中的元素来完成该步骤，那么这将更加困难。

Write转换的结果是一个WriteFilesResult，它允许您通过调用GetPerdestinationOutputFileNames来获取包含所写文件的所有文件名的PCollection。从那里，您可以继续使用可以将所有这些文件写入BigQuery的转换管道。下面是Java中的一个示例：

WriteFilesResult<DestinationT> result = files.apply(FileIO.write()...)
result.getPerDestinationOutputFilenames().apply(...)

Python中的等价物似乎称为fileResult，但我找不到这方面的好文档。