当前位置: 首页 > 工具软件 > JGroups-ME > 使用案例 >

JGroups协议篇

闻安宜
2023-12-01

转自:http://www.taobaotest.com/blogs/2284

Trunner节点之间通过JGroups消息进行通信,JGroups最大的一个优点就是内在支持集群特性,因此Trunner可以非常方便的实现负载均衡、可扩展性、高可用性。下面我们通过分析一下Trunner使用到的JGroups协议栈配置,来看看这些集群特性是怎么实现的。

UDP协议是JGroups底层的消息传送协议,注意这里的UDP和网络协议中的UDP概念不一样,除了说明底层数据传输使用的是UDP网络传输层协议之外还可以指定JGroups对消息处理的线程模型。这一层定义了两个线程池:thread_pool和oob_thread_pool,前者用来处理需要按序处理的消息,后者处理无序消息。UDP只是JGroups协议栈中传输的一个可选协议,用户也可以使用TCP来实现相同的功能。

PING协议被JGroups使用来发现集群节点,在JGroups集群中没有中心配置服务器和主控节点,所有的节点都是对等的,那么集群中的成员信息是怎么维护的呢?当一个节点启动时,它通过PING协议向一个组播地址发送PING消息,在这个组中的节点都会返回当前的集群节点信息给这个发起者。节点信息中包含一个重要信息-Coordinator(集群协调者),加入者得到这个信息之后会发送JOIN消息到Coordinator,Coordinator收到JOIN消息之后会更新集群地址列表然后发送VIEW消息到集群所有成员来更新集群成员信息。PING包含一个超时时间,如果在超时时间内没收到PING返回,加入者自己成为这个集群的Coordinator。如果由于任何原因Coordinator离开集群,则节点按照加入时间顺序自动升级成Coordinator。所有这些操作都是在PING协议层完成的,所以对于应用来说完全不必关心节点地址维护。这就使得Trunner集群能够做零配置扩容,在集群中增加一个节点就是在一台新机器上使用trunner.sh start controller|agent这个命令这么简单。

上面的PING协议有个问题,如果由于网络原因(临时中断)集群中出现多个Coordinator怎么办?PING之上的MERGE2协议就可以解决这个问题。MERGE2做到在网络恢复集群探测到有多个Coordinator组成多个子集群的时候发送MERGE消息给所有节点,将某些Coordinator降级使得集群重新整合成一个。

有加入就有退出,如果上层应用调用JGroups的channel disconnect方法正常退出,退出节点会发送LEAVE消息来使得集群的VIEW得到更新。但是很多时候,集群中的节点由于系统崩溃、物力宕机等原因非正常退出,这种情况也必须考虑到。JGroups底层通过FD、FD_SOCK、FD_ALL等协议来支持错误检测(Failure Detection)。Trunner集群中通过结合FD_ALL和FD_SOCK协议来保证错误检测的完备和及时。FD的工作方式是集群中的节点组成有序环,每个节点向它的下游发送心跳消息,如果心跳消息返回超时,这个节点就会向集群中所有成员发送SUSPECT消息SUSPECT对象就是那个没有及时作心跳返回的节点。SUSPECT消息只有Coordinator会处理,Coordinator收到SUSPECT消息后会向被怀疑对象发送VERIFY_SUSPECT消息,如果确认挂掉则将该节点从集群VIEW中去除并且将VIEW发送到集群每个节点。有了心跳检测还不是很保险,比如:被怀疑对象很忙,没有及时返回心跳消息和怀疑探测消息。Trunner中因此加入了FD_SOCK检测,它的工作方式是所有的节点组成一个Socket环,每个节点和他的下游节点建立Socket连接,这样只有当Socket连接非正常中断的时候,怀疑才会发生。FD_ALL和FD类似,也是采用心跳机制,但是通过消息组播的方式来发送心跳消息。

有了JGroups在协议栈上对集群特性的支持,Trunner能够非常方便的实现可扩展,高可用。同时每个节点定时汇报自己的资源利用率,Trunner Controller节点根据实时的节点负载情况动态分配性能测试任务,非常有效和简单的实现了压测任务的负载均衡。通过配置JGroups的STATE_TRANSFER协议层,Trunner节点的任务信息和节点资源信息被同步到新加入的节点中,进一步支持了零配置的动态扩容。

协议栈是JGroups最强大,最灵活的技术,JGroups本身提供了50多种协议供用户配置使用,用户也完全可以根据自己的需要对这个协议栈进行扩展。常用的比如:传输协议(UDP、TCP),消息分块协议(FRAG、FRAG2),可靠传输协议(UNICAST、NAKACK),失败侦测(FD、FD_SOCK、FD_ALL),排序协议(SEQUENCER)、成员协议(GMS)、加密协议(ENCRYPT)等等。这里列举一些,希望了解更多详细信息的可以参考JGroups官方文档。

 

附:Trunner的JGroups协议栈配置

<config xmlns="urn:org:jgroups"

        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

        xsi:schemaLocation="urn:org:jgroups http://www.jgroups.org/schema/JGroups-3.0.xsd">

   

   <!-- 使用UDP组播作为消息传输协议 -->

   <UDP

         mcast_port="${jgroups.udp.mcast_port:45588}"

         tos="8"

         ucast_recv_buf_size="20M"

         ucast_send_buf_size="640K"

         mcast_recv_buf_size="25M"

         mcast_send_buf_size="640K"

         loopback="true"

         discard_incompatible_packets="true"

         max_bundle_size="64K"

         max_bundle_timeout="30"

         ip_ttl="${jgroups.udp.ip_ttl:8}"

         enable_bundling="true"

         enable_diagnostics="true"

         thread_naming_pattern="cl"

 

         timer_type="new"

         timer.min_threads="4"

         timer.max_threads="10"

         timer.keep_alive_time="3000"

         timer.queue_max_size="500"

 

         thread_pool.enabled="true"

         thread_pool.min_threads="2"

         thread_pool.max_threads="8"

         thread_pool.keep_alive_time="5000"

         thread_pool.queue_enabled="true"

         thread_pool.queue_max_size="10000"

         thread_pool.rejection_policy="discard"

 

         oob_thread_pool.enabled="true"

         oob_thread_pool.min_threads="1"

         oob_thread_pool.max_threads="8"

         oob_thread_pool.keep_alive_time="5000"

         oob_thread_pool.queue_enabled="false"

         oob_thread_pool.queue_max_size="100"

         oob_thread_pool.rejection_policy="Run"/>

 

   <!-- IP Multicasting Membership Discovering -->

   <PING timeout="2000"

           num_initial_members="3"/>

   <!-- 集群分裂自动融合 -->

   <MERGE2 max_interval="30000"

           min_interval="10000"/>

   <!-- 基于Socket有序环的错误侦测 -->

   <FD_SOCK/>

   <!-- 基于心跳的错误侦测 -->

   <FD_ALL/>

   <VERIFY_SUSPECT timeout="1500"  />

   <!-- 组播消息可靠性保证(重发)和FIFO消息序列保证 -->

   <pbcast.NAKACK exponential_backoff="300"

                   xmit_stagger_timeout="200"

                   use_mcast_xmit="false"

                   discard_delivered_msgs="true"/>

   <!-- 单播消息可靠性保证(重发)和FIFO消息序列保证 -->

   <UNICAST />

   <!-- 未消费消息持久化 -->

   <pbcast.STABLE stability_delay="1000" desired_avg_gossip="50000"

                   max_bytes="4M"/>

   <!-- 成员管理 -->

   <pbcast.GMS print_local_addr="true" join_timeout="3000"

               view_bundling="true"/>

   <!-- 单播消息流量控制 -->

   <UFC max_credits="2M"

         min_threshold="0.4"/>

   <!-- 组播消息流量控制 -->

   <MFC max_credits="2M"

         min_threshold="0.4"/>

   <!-- 大消息分块 -->

   <FRAG2 frag_size="60K"  />

   <!-- 节点状态迁移 -->

   <pbcast.STATE_TRANSFER />

   <!-- 集群锁支持 -->

   <CENTRAL_LOCK />

   <!-- 集群计数器支持 -->

   <COUNTER bypass_bundling="true" timeout="5000"/>

</ config >
 类似资料: