Apache Ignite频繁更新

Question

我希望有Apache Ignite经验的人能够帮助指导我的团队找到关于Apache Ignite新设置的答案。

数据从许多分布式传感器中不断产生，并流进我们的数据库。每个传感器每秒可能提供许多更新，但通常每秒生成<10个更新。

null

查询相当复杂，需要在时间上进行重要的（和动态的）回溯。一个查询可能需要来自一个站点中多个传感器的数据，但所需的传感器是动态确定的。大多数连续查询只需要最近几个小时的数据，但经常需要在多天内进行查询。

因此，通常情况下，我们有一次写入查询多的场景。

如果我们将数据加载到java中的基元整数数组中，一周的空间消耗接近5 GB。因为这在当今的平台中是“花生”，所以我们打算将所有数据加载到Ignite集群/分布式缓存中的所有节点上。换句话说，使用复制缓存。

例如，为每分钟/小时创建块也不一定有效，因为每个传感器都可能暂时脱机，这将使它在稍后的某个时间点传递过时的数据。

因此，我的问题是如何有效地处理这些更新流，同时保持最近7-10天数据的一致视图。

我当前的本地实现是将数据分块为1小时的块。当给定块的新记录到达时，该块将被更新的块替换。这在一台机器上运行良好，但在集群中的网络开销方面可能过于昂贵。我还没有一个Ignite实现，所以我还不能测试它。

所以我的问题是，其他的点火器会如何处理这个问题呢？

Answer 1

听起来您想要跨多个服务器扩展负载，但在复制缓存中这是不可能的，因为每次更新都会更新所有节点，拥有的节点越多，网络流量就越大。我认为您应该使用分区缓存，并尝试添加节点，直到系统能够处理负载为止。