对ignite缓存进行分页的正确方法是什么？

Question

我使用apache ignite缓存作为数据存储。想知道是否有方法从客户端对大型数据集合进行分页。我不需要或希望数百万的记录从服务器转移到我的网络/移动客户端。

private final ClientCache<UUID, Account> accounts;

public List<Account> getAll(int offset, int limit) 
{
    return accounts.query(new ScanQuery<UUID, Account>()
            .setLocal(false))
            .getAll()
            .stream()
            .skip(offset)
            .limit(limit)
            .map(entity -> entity.getValue())
            .collect(Collectors.toList());
}

这是一个有效的方法吗？

我看过使用游标，但API仅限于迭代器...

Answer 1

我在代码中看到getall()。它使所有的数据都被传送到调用方。这正是你想避免的。

迭代器避免了这个问题，因为数据是按需批量加载的。因此，在运行查询时，不必将所有内容加载到单个节点的内存中。可以通过设置ScanQuery#PageSize属性来配置页面大小。默认情况下，它等于1024。可以通过调用querycursor.Iterator()方法获取迭代器。因此，不需要保留偏移量，而是需要保留迭代器。

指定了限制和偏移量的SQL SELECT查询也是一个选项。但是如果您有多个节点，那么在执行过程中，限制+偏移记录将从每个节点加载到reducer。你应该考虑到这一点。