Pyspark：并行化UDF

Question

我想循环两个列表，将组合传递给函数，并获得以下输出：

ru = ['a', 'b', 'c']
ni = ['x', 'y', 'z']

def my_func(ru, ni):
    print("{} + {}".format(ru, ni))

for i in ru:
    for j in ni:
        my_func(i,j)

# Output

a + x
a + y
a + z
b + x
b + y
b + z
c + x
c + y
c + z

由于这是Pyspark，我想将其并行化，因为函数的每个迭代都可以独立运行。

注：我的实际函数是pyspark中的一个长而复杂的算法。只是想贴一个简单的例子来概括。

最好的方法是什么？​

Answer 1

使用笛卡尔坐标：

ru = sc.parallelize(['a', 'b', 'c'])
ni = sc.parallelize(['x', 'y', 'z'])
print(ru.cartesian(ni).collect())

对于你的情况，

ru.cartesian(ni).map(some_func)

或：

def my_func(ru, ni):
    print("{} + {}".format(ru, ni))

ru.cartesian(ni).foreach(lambda t: my_func(t[0], t[1]))

a + z
a + y
a + x
b + y
b + x
b + z
c + y
c + x
c + z