当前位置: 首页 > 知识库问答 >
问题:

Ignite实例间数据的均匀分布

包子航
2023-03-14

我有9个ignite服务器实例i0,I1,...,i8,其缓存处于分区模式,在这种模式下,我用Kafka从分区p0,p1....p8并行加载数据。这里的分区p0,p1....p8包含的条目数可以通过字段seq_no唯一标识,我还使用part_id将条目从一个分区配置到一个实例。我将key定义为,

 class key() 
 { 
      int seq_no; 
      @AffinityKeyMapped 
      int part_ID; //for collocating entries from one partition to one instance only  
 } 

因此,我试图在ignite实例中的缓存项和分区之间实现一对一的映射,例如I0->P0、I1->P1、.......、I8->P8。但在我的例子中,我得到的映射是,

 I0-> NULL(No Entries), 
 I1-> P5, 
 I2-> NULL, 
 I3-> P7, 
 I4-> P2, P6 
 I5-> P1 
 I6-> P8 
 I7-> P0, P4 
 I8-> P3 

这里实现了关联配置部分,即具有相同分区ID的条目缓存在相同的ignite实例上。但是,数据在ignite实例之间的分布并不均匀,即I4I7保存2个分区的数据,而I0I2不包含任何数据。那么在这里,我们如何实现数据的平等分配,以便每个ignite实例获得一个分区数据呢?

共有1个答案

锺离刚洁
2023-03-14

Apache Ignite用户论坛也讨论了这一点:http://apache-ignite-users.70518.x6.nabble.com/equal-distribution-of-data-among-ignite-instances-td10602.html

 类似资料:
  • 本文向大家介绍python随机数分布random均匀分布实例,包括了python随机数分布random均匀分布实例的使用技巧和注意事项,需要的朋友参考一下 因为概率问题,所以需要测试一下python的随机数分布。到底是平均(均匀)分布,还是正态(高斯)分布。 测试代码如下: 测试结果: 结果说明: 平均(均匀)分布。 以上这篇python随机数分布random均匀分布实例就是小编分享给大家的全部内

  • 0.1-0.2:********** 0.2-0.3:******** 0.3-0.4:********* 0.5-0.6:********* 0.6-0.7:********* 0.7-0.8:********* 0.4-0.5:********* 0.5-0.6:********* 0.6-0.7:********* 0.1-0.2:********* 0.2-0.3:********* 0.

  • 问题内容: 我试图识别/创建一个函数(在Java中),该函数给我一个非均匀的分布式数字序列。如果我有一个函数说它将给我一个从到的随机数。 该函数最适合任何给定的函数,下面仅是我想要的示例。 但是,如果我们说函数将返回来自分布式的s nonuni。 我想例如说 约占所有案件的20%。 大约是所有情况的50%。 约占所有案件的20%。 大约是所有情况的10。 总之somting,给我一个数字,如正态分

  • 我们在AWS上运行16个节点kafka集群,每个节点是m4. xLargeEC2实例,具有2TB EBS(ST1)磁盘。Kafka版本0.10.1.0,目前我们有大约100个主题。一些繁忙的话题每天会有大约20亿个事件,一些低量的话题每天只有数千个。 我们的大多数主题在生成消息时使用UUID作为分区键,因此分区分布相当均匀。 我们有相当多的消费者使用消费群体从这个集群消费。每个使用者都有一个唯一的

  • 问题内容: 我知道如果我使用Java的Random生成器,并使用nextInt生成数字,则数字将均匀分布。但是,如果我使用2个Random实例,并使用两个Random类生成数字,会发生什么。数字是否会均匀分布? 问题答案: 每个实例生成的数字将均匀分布,因此,如果将两个实例生成的随机数序列组合在一起,则它们也应均匀分布。 请注意,即使结果分布是均匀的,您也可能要注意种子,以避免两个生成器的输出之间

  • 问题内容: 我必须创建一个函数,将提供的数据帧分成所需大小的块。例如,如果数据帧包含1111行,我希望能够指定400行的块大小,并获得三个较小的数据帧,分别具有400、400和311的大小。是否有方便的功能来完成这项工作?在切片的数据帧上存储和迭代的最佳方法是什么? 示例数据框 问题答案: 您可以将序列的底数划分为数据帧中的行数,然后将其用于将数据帧拆分为大小相等的块: