Hazelcast-OperationTimeoutException

Question

我使用的是Hazelcast版本3.3.1。
我有一个使用C3.2xLarge服务器在aws上运行的9节点群集。
我使用的是分布式执行器服务和分布式映射。
分布式执行器服务使用一个线程。Distributed map配置为无复制和无近缓存，并使用Kryo序列化器存储大约100万个1-2KB大小的对象。
我的用例如下:

• 所有9个节点都在分布式执行器服务上持续执行同步远程操作，每秒生成大约20k次命中（每个节点大约2k)。
• 使用Hazelcast API执行调用:com.Hazelcast.core.IExecutorService#ExecuteOnKeyOwner。
• 每个操作访问拥有分区的节点上的分布式映射，使用存储的对象进行一些计算，并将对象存储到映射中。（为此，我使用IMap对象的get和set API）。

每隔一段时间，Hazelcast都会遇到超时异常，例如:
com.Hazelcast.core.OperationTimeoutException：120000 ms没有响应。正在中止调用！BasicInvocationFuture{Invocation=BasicInvocation{ServiceName='Hz:Impl:MapService“,OP=GetOperation{},PartitionID=212,ReplicaIndex=0,TryCount=250,TrypauseMillis=500,InvokeCount=1,CallTimeout=60000,Target=Address[172.31.44.2]:5701,BackupsExpected=0,BackupsCompleted=0},response=Null,DoNe=False}未收到响应！备份-预期：0备份-已完成：0

在某些情况下，我看到映射分区开始迁移，这使情况变得更糟，节点不断地离开并重新加入集群，克服这个问题的唯一方法是重新启动整个集群。

我想知道是什么原因导致Hazelcast在120秒内阻止Map-Get操作？
我很确定这与网络无关，因为相同服务器上的其他服务运行正常。还要注意，服务器大部分是空闲的(~70%)。

对我的用例的任何反馈都将受到高度赞赏。

Answer 1

你为什么不使用一个入口处理器呢？这也是发送到正确的机器拥有的分区和加载，修改，存储是自动和原子完成。所以没有种族问题。它的性能可能会大大超过当前的方法，因为它涉及的远程处理较少。

map.get在120秒内没有返回这一事实确实非常令人困惑。如果您切换到Hazelcast3.5，我们使用慢速操作检测器（执行端）和慢速调用检测器（调用端）为其添加了一些日志记录/调试内容，应该可以让您了解正在发生的事情。

是否看到正在打印任何运行状况监视器日志？