用Python创建自定义Spark RDD

Question

如有任何建议或帮助，将不胜感激。

曼迪

Answer 1

在分布式环境中计算精确的中位数需要一些努力，所以假设您想要将RDD中的所有值平方。让我们将此方法称为squares，并假设它的工作方式如下：

assert rdd.squares().collect() == rdd.map(lambda x: x * x).collect()

from pyspark import RDD

def squares(self):
    return self.map(lambda x: x * x)

RDD.squares = squares
rdd = sc.parallelize([1, 2, 3])
assert rdd.squares().collect() == [1, 4, 9]

注意：如果修改类定义，每个实例都可以访问方块。

class RDDWithSquares(RDD):
    def squares(self):
        return self.map(lambda x: x * x)

rdd = sc.parallelize([1, 2, 3])
rdd.__class__ = RDDWithSquares # WARNING: see a comment below

分配类是一个肮脏的黑客，所以在实践中，您应该以正确的方式创建一个RDD（例如，请参见context.parallelize实现）。

import types

rdd = sc.parallelize([1, 2, 3])
# Reusing squares function defined above
rdd.squares = types.MethodType(squares, rdd)

from toolz import pipe
pipe(
    sc.parallelize([1, 2, 3]),
    squares,
    lambda rdd: rdd.collect())