数据分支和应用转换

Question

我刚刚开始使用数据流，对于如何实现分支，我没有什么问题。

Answer 1

您可以使用Partition transform将数据划分为多个子集合，而不必对数据进行多次迭代。然后，您可以将其他转换和窗口分别应用于分区的不同输出。

例如：

PCollection<Student> students = ...;
// Split students up into 10 partitions, by percentile:
PCollectionList<Student> studentsByPercentile =
    students.apply(Partition.of(10, new PartitionFn<Student>() {
        public int partitionFor(Student student, int numPartitions) {
            return student.getPercentile()  // 0..99
                 * numPartitions / 100;
        }}))
for (int i = 0; i < 10; i++) {
  PCollection<Student> partition = studentsByPercentile.get(i);
  ...
}