在java中并行读取/处理结果集

Question

我需要迭代resultset中返回的数百万条记录，并对它们进行处理，然后将它们存储在某些数据结构中。我没有找到任何相关的例子或参考。JOOQ似乎在做一些我可能想要的事情，但它似乎不是免费的。我希望，如果使用Java8流，我可能能够实现它，但示例或writeup似乎没有给我任何方向。我也愿意接受其他选择
基于这个SO参考：resultset parallel，我在下面进行了尝试，但它没有给我任何性能改进，如下面的性能指标所示
代码：顺序迭代：

while(rs.next()) {
    System.out.println(rs.getString(1));
    }

使用流和分裂器：

Stream<String> s = StreamSupport.stream(new Spliterators.AbstractSpliterator<String>(Long.MAX_VALUE,
                Spliterator.ORDERED) {

            @Override
            public boolean tryAdvance(Consumer<? super String> action) {
                try {
                    if (!rs.next())
                        return false;
                    action.accept(rs.getString(1));
                } catch (SQLException e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
                return true;
            }
        }, true);
        s.forEach(System.out::println);

记录总数：3759
连续记录占用的时间：~83.8秒
流占用的时间：~83.5秒

有谁能回顾一下，告诉我我是否没有正确地实现流。

Answer 1

无法并行处理结果集。它是一种迭代器，合并了必须为查询更改的可变状态，最显著的是，ResultSet有一个当前行，在读取之前必须将其移动到该行。即使对于通过索引访问的行中的值，该规范也没有提供线程安全保证，并提到底层数据库可能不支持无序读取它们。

因此，可以从并行处理中获益的唯一操作是链式后续操作，但当唯一链式操作是系统时。out：：println，你让事情变得更糟。打印操作不仅不能从并行处理中获益，而且所有标准实现在系统中都有PrintStream。输出，将每个写入操作同步到目标输出。

请注意，即使您链接计算密集型操作（这可能会从并行处理中受益），也有可能昂贵的数据库操作支配了整个执行时间。这就是为什么在将数据传输到Java端之前，让数据库尽可能多地过滤和/或聚合数据是很重要的…