当前位置: 首页 > 知识库问答 >
问题:

如何为聚类nifi设计模板

农英杰
2023-03-14

我们在设计nifi模板时是否需要考虑底层集群?

+-----------------+                         +---------------+                       +-----------------+
|                 |                         |               |                       |                 |
|  READ FROM      |                         |  MERGE        |                       |   PUT HDFS      |
|  KAFKA          |                         |  FILES        |                       |                 |
|                 +-----------------------> |               +---------------------> |                 |
|                 |                         |               |                       |                 |
|                 |                         |               |                       |                 |
|                 |                         |               |                       |                 |
+-----------------+                         +---------------+                       +-----------------+
                                                                   +------------------+
                                                                   |                  |                 +-------------+
                                                                   | REMOTE PROCESS   |                 |  input port |
                                                            +----> | GROUP FOR        |                 |    (rpg)    |
                                                            |      | NODE 1           |                 +-------------+
                                                            |      |                  |                        |
                                                            |      |                  |                        |
                                                            |      +------------------+                        v
+-----------------+               +-----------------+       RPG
|                 |               |                 |       |                                           +--------------+
|  READ FROM      |               |                 |       |                                           |              |
|  KAFKA          |               | LOAD BALANCER   |       |       +------------------+                | MERGE FILES  |
|                 +-------------> |                 +-------------> |                  |                |              |
|                 |               |                 |       |       |  REMOTE PROCESS  |                |              |
|                 |               |                 |       |       |  GROUP FOR       |                |              |
|                 |               |                 |       |       |  NODE 2          |                |              |
+-----------------+               +-----------------+       RPG     |                  |                +--------------+
                                                            |       +------------------+                       |
                                                            |                                                  |
                                                            |                                                  v
                                                            |
                                                            |       +-------------------+               +---------------+
                                                            |       |                   |               |               |
                                                            |       |   REMOTE PROCESS  |               | PUT HDFS      |
                                                            +-----> |   GROUP FOR       |               |               |
                                                                    |   NODE 3          |               |               |
                                                                    |                   |               |               |
                                                                    |                   |               |               |
                                                                    +-------------------+               +---------------+

除了远程集群之外,负载均衡器的用例是什么?我可以使用负载均衡器将流量分割到几个处理器中以加速操作吗?

共有1个答案

景恩
2023-03-14

Apache NiFi不执行任何自动负载平衡或数据移动,因此您可以根据集群来设计数据流。如何做到这一点将取决于数据流以及如何将数据带入集群。

我曾经写过这篇文章,试图总结一下这些方法:

https://community.hortonworks.com/articles/16120/how-do-i-distribute-data-across-a-nifi-cluster.html

其次,计算出您的Kafka主题有多少分区。Kafka客户机(由NiFi使用)将把1个使用者分配给1个分区,因此如果只有1个分区,则只能有1个NiFi节点从其中使用。下面有一篇文章进一步描述这种行为:

http://bryanbende.com/development/2016/09/15/apache-nifi-and-apache-kafka

 类似资料:
  • 我一直在阅读有关为将向客户公开的REST服务设计API的最佳实践。例如,我们应该使用名词来命名所有公开的URI。此外,动词应遵循HTTP命令的语义。例如,GET请求不应该修改资源,而应该在这里使用PUT请求。我在一次采访中被问到这个问题,但我不能满意地回答这个问题——我正在设计一个计算器,它提供以下功能:对两个操作数进行加法、乘法、除法和减法。如何按照REST原则向客户端公开这些方法。这些操作要使

  • 在我早起学习设计模式的经验中,我个人发现,下面的表格是一个非常有用的提醒,大多数模式所提供-它覆盖了由GOF提出的23种模式。最早的表格由 Elyse Nielsen 在2004年汇总,我已经做了部分修改以适应我们的讨论。 我推荐使用该表格作为参考,但要记住大量额外的模式在这里么有提及,但在本书的后续的章节中会提到。 关于类的简单说明 要记住这张表中会有模式引用“类”的概念。JavaScript是

  • 在众所周知的设计书《Domain-Driven Terms》中,它被描述为: 设计模式是命名、抽象和识别对可重用的面向对象设计有用的的通用设计结构。设计模式确定类和他们的实体、他们的角色和协作、还有他们的责任分配。 每一个设计模式都聚焦于一个面向对象的设计难题或问题。它描述了在其它设计的约束下它能否使用,使用它后的后果和得失。因为我们必须最终实现我们的设计模式,所以每个设计模式都提供了例子..代码

  • 生活中描述事物无非就是描述事物的 属性 和 行为。 如:人有身高,体重等属性,有说话,打架等行为。 事物名称(类名):人(Person) 属性:身高(height)、年龄(age) 行为(功能):跑(run)、打架(fight) Go 语言中用类来描述事物也是如此 属性:对应类中的成员变量。 行为:对应类中的成员方法。 定义类其实在定义类中的成员(成员变量和成员方法) 拥有相同或者类似 属性(

  • 我有一个游戏玩家类,有不同的玩家类型:动物,人,机器人。我希望我的游戏有一个使用单例模式的玩家实例,但不确定这是否可行?

  • 我们在C类中有以下方法: A是另一个类。在A中,我们有一个声明为类A1类型的变量(我认为这使得A成为一个聚合类)。我已经将以下对象定义为模拟对象: 而且 如果模拟A1对象并在when/verify中使用它的语法是正确的,请您提供帮助? 另一个问题是,如果没有必要为a1创建mock,应该使用哪种语法?例如,下面的可以吗? 谢谢