将一个分路器拆分为 N 个分路器

Question

在分析一位同事几年前的Java 7代码时，我发现他实现了一个遍历数据的实用程序，可能是并行的。他称之为< code>Range，它扩展了< code>Iterator接口。它的一些新方法令人尴尬的熟悉:

• int size（） 将给出范围的确切大小;
• 范围split（）将范围分成2个部分，最好，但不一定，大小相似（修改当前范围并创建一个新范围）;
• Range[] split（int n） 会将范围分成 N 个子范围，可能试图使它们尽可能均匀。
• 尽管 void remove（） 来自 Iterator，但它的子类型只是抛出了 UnsupportedOperationException。

我对自己说的是，这绝对是我们现在可以用(子化的)拆分器做的事情，从而利用stream API。然而，Java 8中的spliterator并没有提供一种简单的方法来分割成n个部分。

使用递归函数，我们可以将其拆分为具有L递归级别的n=2^L部分，但当n不是2的幂时，这种方法就不那么微不足道了，更不用说仅仅为了效果而保留实用函数感觉不自然了。

也可以简单地说，为了避免与拆分器混淆，让流在实际处理过程中执行由fork引起的拆分，但是ForkJoin策略可能不太适合任务，并且不能保证它将使用我们特别希望专用于该任务的线程数。事实上，可能会出现在少数元素上执行繁重任务的情况。

问题总结如下：拥有一个至少具有SIZE和SUBSIZE特征的分路器，我如何将其拆分为确切数量的分路器？

Answer 1

"...但是ForkJoin策略可能不足以完成任务”

对我来说，这听起来像是过早的优化。您希望手动实现复杂的事情，因为现有策略可能不足...

“…并且不保证它将使用我们特别希望专用于该作业的线程数。”

确实没有保证，但是当前的流实现使用公共的Fork/Join池，该池可以被配置成期望的线程数量。将指定数量的线程用于任务正是您所要求的策略。

“事实上，可能会有在少数元素上执行繁重任务的情况。”

我看不出与F/J框架的工作方式有任何矛盾。它将尝试分割，直到达到所需的并行度。如果这意味着每个线程只处理一个项目，那也可以。

在这一点上，值得注意的是，与内核数量相匹配的默认并行度对于任何不涉及阻塞的计算任务来说都是足够的，无论处理单个项目需要多长时间。只要每个线程都有自己的工作负载，就不可能有超过实际硬件执行单元数量的加速。

换句话说，F/J框架实现了您想要自己实现的策略(或者比您要实现的策略更好的策略)，这将我们带回到第一点，过早优化。

Answer 2

实现这一点的方法是编写一个使用自己的拆分策略的拆分器包装器，它甚至没有那么复杂，并且可以与现有的F/J支持框架进行互操作。您失去的是利用本机随机访问结构的能力；只能通过迭代内部拆分器的数据集进行拆分。

您可以参考我之前的答案，其中我展示了分成预定大小批次的代码；只需适当的构造函数调用即可使其适应您的情况。