当前位置: 首页 > 知识库问答 >
问题:

自定义处理器和反压,节流

赵越
2023-03-14

NiFi 1.2.0

有一个自定义处理器从db读取数据并进一步传递数据。在最近的一次压力测试中,'success'关系队列被阻塞,后来的流也被阻塞,因为处理器转储了几个GBs的数十万个流文件。显然,反压力没有实施。我还读了一篇关于节流和反压的信息帖子。

在处理器中是否需要额外的编码(例如:要实现的某个接口)以使其能够“Hibernate/停止消耗数据”来进行反压,或者一旦处理器的“成功”关系被配置为反压,NiFi框架是否处理该问题

共有1个答案

伍嘉
2023-03-14

不需要额外的编码。NiFi框架为您管理背压,并在施加背压时停止调用您的处理器。

 类似资料:
  • 如果数据库表中的列名和等价的javabean对象名称不相似,那么我们可以通过使用自定义的对象来映射它们。 看下面的例子。 为了理解上述与DBUtils相关的概念,让我们编写一个将运行读取查询的示例。创建一个示例应用程序。 更新在DBUtils入门程序中创建的文件:MainApp.java。 按照下面的说明编译并运行应用程序。 以下是的内容。 以下是文件的内容。 以下是文件的内容。 完成创建源文件后

  • 我试图加载一个自定义的NiFi处理器,但无法让NiFi加载所有的.nar依赖项,尽管尝试了各种pom.xml配置。我在SO上遇到过一些类似的问题,但还没有找到这个问题的答案。

  • 我使用抽象处理器创建了一个自定义注释和注释处理器。这意味着我想在编译之前进行注释处理。我将自定义注释和处理器导出为Jar,并尝试将其与简单的java测试程序一起使用。我确信在编译时它会找到我的java处理器类,但不知何故,我并没有得到我在控制台上期望的o/p。下面是我的处理器中处理方法的代码。 此外,我故意使用以便我得到一个版本警告,它确认当我执行一个测试类时,它找到了我的注释处理器。 这里是我的

  • 我使用的是Nifi 0.4.1版本。我写自定义代码转换CSV到avro格式。我已经创建了类文件,并能够生成nar文件。将nar文件放置在lib目录中,并重新启动nifi服务器。 任何帮助都很感激.. 谢谢,

  • 本文向大家介绍Python Handler处理器和自定义Opener原理详解,包括了Python Handler处理器和自定义Opener原理详解的使用技巧和注意事项,需要的朋友参考一下 我们之前一直都在使用的urlopen,这是一个特殊的opener(也就是模块帮我们构建好的)。 但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能:

  • 我看到了Apache NiFi的这个示例(https://medium.com/hashmapinc/creating-custom-processors-and-controllers-in-apache-nifi-e14148740ea),但仍然无法理解如何为自定义处理器和控制器服务实现打包结构。 我的目标是创建一个自定义控制器服务来使用我的多个自定义处理器。我的maven结构应该是什么样子?