Apache NiFi调优问题

Question

我已经为html" target="_blank">HDFS中的数据摄取开发了一个NiFi流原型。现在我想提高整体表现，但似乎我不能真正前进。对此，作者提出了建议

该流接收输入csv文件（每行有80个字段），在行级别拆分它们，对字段应用一些转换（使用4个顺序执行的自定义处理器），将新行缓冲到csv文件中，然后将它们输出到HDFS中。我以这样一种方式开发了处理器，即当读取每个记录并将其字段移动到flowfile属性时，只访问一次流文件的内容。已经在amazon EC2 M4.4xLarge实例（16核CPU、64 GB RAM)上执行了测试。

这是我目前所尝试的：

null

我能得到的最多是215K行/分钟，也就是35K行/秒。就体积而言，它只有4,7 Mb/s。我的目标肯定比这更伟大。作为比较，我创建了一个流，该流读取文件，将其拆分成行，将它们合并成块并输出到磁盘上。这里我得到12K行/秒，或17 Mb/s。看起来也不惊人的快，让我觉得我可能做错了什么。有人对如何提高表演有什么建议吗？在集群上运行NiFi而不是随着实例规范的增长，我会受益多少？谢谢大家

Answer 1

结果发现，性能差是开发的自定义处理器和合并内容内置处理器的结合。同样的问题反映在hortonworks社区论坛上，得到了有趣的反馈。

关于第一个问题，建议将supportsbatching注释添加到处理器中。这允许处理器将几个提交批处理在一起，并允许NiFi用户从配置菜单中支持处理器执行的延迟或吞吐量。其他信息可以在这里的文档中找到。

另一个发现是MergeContent内置处理器本身似乎没有最佳性能，因此如果可能，应该考虑修改流并避免合并阶段。