在Python Spark中查看RDD内容？

Question

在pyspark中运行一个简单的应用程序。

f = sc.textFile("README.md")
wc = f.flatMap(lambda x: x.split(' ')).map(lambda x: (x, 1)).reduceByKey(add)

我想使用foreach动作查看RDD内容：

wc.foreach(print)

这将引发语法错误：

SyntaxError: invalid syntax

我想念什么？

Answer 1

发生此错误是因为print不是Python 2.6中的函数。

您可以定义执行打印的辅助UDF，也可以使用future库将其print视为函数：

>>> from operator import add
>>> f = sc.textFile("README.md")
>>> def g(x):
...     print x
...
>>> wc.foreach(g)

要么

>>> from __future__ import print_function
>>> wc.foreach(print)

但是，我认为最好将collect()RDD内容带回驱动程序，因为foreach它在工作程序节点上执行，并且输出不一定会出现在驱动程序/
shell中（它可能会在local模式下出现，但在运行时不会出现）集群）。

>>> for x in wc.collect():
...     print x