Apache NiFi通过远程进程组的不规则数据流

Question

我正在评估Apache NiFi在一个项目中的使用。我有四个运行在Ubuntu14系统上的云中的NifiV1.1.2实例。其中三个实例用作远程进程组(R1、R2和R3)，其余实例(M1)用于管理RPG之间的流。m1生成一个流文件，将该流文件通过由三个RPG组成的管道，并在最后记录该流文件。每个RPG只需将r{id}附加到FlowFile中的ProcessedBy属性，这样就可以很容易地看到数据的处理顺序。

我有的问题是订单不是预期的100%的时间。我使用了两个管道(P1和P2)，它们分别按照R1->R2->R3和R2->R1->R3的顺序遍历RPG。我看到的是，P1中的流文件大约有50%的时间不被R2处理，而在P2中，它实际上颠倒了方向，被R2处理了两次，因此流的顺序变成了R2->R1->R2->R3

编辑：

Answer 1

我并不认为远程进程组具有您所期望的“函数语义”。奇怪的flowfile通信模式之所以会发生，是因为流左边的flowfile会从右边的RPG输出中出现（和相反），但对于RPG输出端口来说，这是正确的行为。

从一个输入端口向远程流发送flowfile并不能保证它会通过同一个RPG图节点上的输出端口“返回”。一个远程输出端口的多个侦听器将各自接收输出的一部分。将一个RPG输入和它的输出直观地连接起来是典型的、推荐的，并且可以说是组织流程的最简单的方法。但这不是必需的。

您可以在远程NIFI上创建不同的命名端口，以提供更多的远程输入/输出选项。