在Spark中嵌套并行化？什么是正确的方法？

Question

嵌套的RAL居？

假设我正在尝试做Spark中的“嵌套循环”。就像普通语言一样，假设我在内部循环中有一个例程，该例程以Pi Average
Spark示例
的方式估算Pi（请参见估算Pi）

i = 1000; j = 10^6; counter = 0.0;

for ( int i =0; i < iLimit; i++)
    for ( int j=0; j < jLimit ; j++)
        counter += PiEstimator();

estimateOfAllAverages = counter / i;

我可以在Spark中嵌套并行化调用吗？我正在尝试，但还没有解决。乐于张贴错误和代码，但我想我要问一个更概念性的问题，即这是否是Spark中的正确方法。

我已经可以并行化一个Spark实例/
Pi估计，现在我想执行1000次以查看它是否在Pi上收敛。（这与我们正在尝试解决的更大问题有关，如果需要更接近MVCE的东西，我很乐意补充）

底线问题我只需要有人直接回答：使用嵌套并行化调用这是正确的方法吗？如果没有，请提出具体建议，谢谢！这是我认为正确的方法的伪代码方法：

// use accumulator to keep track of each Pi Estimate result

sparkContext.parallelize(arrayOf1000, slices).map{ Function call

     sparkContext.parallelize(arrayOf10^6, slices).map{
            // do the 10^6 thing here and update accumulator with each result
    }
}

// take average of accumulator to see if all 1000 Pi estimates converge on Pi

背景：我问了这个问题并得到了一个普遍的答案，但并没有导致解决方案，经过一番摸索后，我决定发布一个具有不同特征的新问题。我也尝试在Spark用户邮件列表中询问此问题，但那里也没有骰子。在此先感谢您的帮助。

Answer 1

在Pi示例中，在嵌套的for循环中，您可以通过对i * j次处理执行单个循环，然后对所有这些结果求和，然后最后除以j，可以得到相同的答案。如果您有要在外部循环中应用的步骤，请在循环中执行这些步骤，但是通过为每个内部循环组分配特定的键来创建不同的组。在不知道您要在外部循环中执行哪种操作的情况下，很难在此处给出示例。

对于仅求平均值以提高收敛性的简单情况，其相对容易。无需执行嵌套循环，只需使用i * j元素创建rdd，然后将函数应用于每个元素。

这可能看起来像（使用pySpark）：（ f是您要应用的任何函数，请记住，它将传递RDD中的每个元素，因此即使您未在函数中使用f，也要使用输入定义它）

x = RandomRDDs.uniformRDD(sc, i*j)
function_values = x.map(f)

from operator import add   
sum_of_values = function_values.reduce(add)
averaged_value = sum_of_values/j (if you are only averaging over the outer loop)

如果要在外部循环中执行操作，我将分配一个索引（zipWIthIndex），然后使用以j为模的索引创建一个键。然后，每个不同的键将是一个单独的虚拟内部循环周期，您可以使用诸如bindByKey，foldByKey或reduceByKey之类的运算符仅对那些记录执行操作。如果将不同的密钥分配到不同的分区，则可能会降低性能。

一种替代方法是将rdd重新分区到j个分区上，然后使用foreachPartition函数将一个函数应用于每个分区。

第三种选择是并行运行内循环j次，将结果连接到一个分布式文件中，然后在将其读入Spark后执行外循环操作。