解释Spark中的聚合功能

Question

我正在寻找有关通过python中的spark可用的聚合功能的更好解释。

我的示例如下（使用来自Spark 1.2.0版本的pyspark）

sc.parallelize([1,2,3,4]).aggregate(
  (0, 0),
  (lambda acc, value: (acc[0] + value, acc[1] + 1)),
  (lambda acc1, acc2: (acc1[0] + acc2[0], acc1[1] + acc2[1])))

输出：

(10, 4)

我得到的预期结果(10,4)是1+2+3+4和4个元素的总和。如果我将传递给聚合函数的初始值更改为(1,0)from，(0,0)
则会得到以下结果

sc.parallelize([1,2,3,4]).aggregate(
    (1, 0),
    (lambda acc, value: (acc[0] + value, acc[1] + 1)),
    (lambda acc1, acc2: (acc1[0] + acc2[0], acc1[1] + acc2[1])))

输出：

(19, 4)

该值增加9。如果将其更改为(2,0)，则该值为(28,4)，依此类推。

有人可以向我解释该值是如何计算的吗？我希望该值增加1而不是9，希望看到(11,4)相反的值(19,4)。

Answer 1

我没有足够的声誉积分可以评论马斯格先前的回答。实际上，零值应该对seqop保持“中性”，这意味着它不会干扰seqop的结果，例如0代表加，或1代表*。

您永远不要尝试使用非中性值，因为它可能会被任意应用。此行为不仅与分区数有关。

我尝试了与问题所述相同的实验。对于1个分区，将零值应用3次。有2个分区，共6次。与3个分区，9倍，这将继续。