如何使用Spring Data cassandra从cassandra数据库读取超过百万条记录，并使用Spring Batch将其写入文件？

Question

我需要使用Spring Data Cassandra从Cassandra数据库读取超过一百万条记录，并使用Spring Batch将其写入一个文件。现在我正在使用Spring data Cassandra的分页特性，但它似乎是在执行select*from table，然后过滤记录。这可能不是一个好的选择，因为该表将有超过一百万条记录，同时将它们全部加载到内存中会很糟糕。

我还需要将它与Spring Batch集成，这样我就能够将每个记录正确地设置为一个文件。我正在寻找一种方法从卡桑德拉读取数据，并将其保存在文件中的块。最好的办法是什么？

下面是我使用分页从Cassandra获取记录的代码：

public void startJob() {
    Pageable pageable = PageRequest.of(0, pageSize);
    Slice<FLProductATPEntity> slice = repository.findAll(pageable);
    List<FLProductATPEntity> entityList;
    if (slice.hasContent()) {
        entityList = slice.getContent();
        entityList.forEach(entity -> log.info("Entity: {}", entity));           
    }
    while (slice.hasNext()) {
        slice = repository.findAll(slice.nextPageable());
        entityList = slice.getContent();
        entityList.forEach(entity -> log.info("Entity: {}", entity));
    }
}

Answer 1

我在寻找一种方法从Cassandra读取数据，并将其分块保存在文件中

Spring Batch提供了RepositoryItemReader，您可以在cassandraPagingAndSortingRepository中作为委托使用该RepositoryItemReader。因此，您可以使用此读取器和FlatFileItemWriter创建面向块的步骤，以便将数据写入文件。