关于Apache beam for python中过滤返回值和预期返回类型的问题

Question

关于使用Apache Beam for Python（Google Cloud Dataflow）开发地图缩减管道，我有两个问题。

def function(input):
  if not input > 0:
    return None
  else:
    return input*2

p = beam.Pipeline()

(p
 | 'read some input from a source'
 >> read_from_datastore(some_query)
 | 'perform an operation on the input'
 >> beam.Map(function)
 | 'filter out invalid values'
 >> beam.Filter(lambda x: x is not None)
)

Answer 1

• beam.map和beam.dofn的返回类型应该是列表吗？
  • 不，这对。map是不正确的。如果您正在实现ParDo，那么ParDo应该输出list。
  • 可以使用。FlatMap（）并返回空列表。Map用于1：1转换。最终，.map在内部使用。FlatMap。