问题：

RDD. foreach（）和RDD. map（）之间的区别

郁光熙

2023-03-14

我正在学习Python中的Spark，想知道有没有人能解释一下动作foreach（）和转换map（）之间的区别？

<代码>rdd。map（）返回一个新的RDD，就像Python中的原始map函数一样。然而，我想看到一个rdd。foreach（）函数并理解其差异。谢谢

共有2个答案

魏彦

2023-03-14

映射是一种转换，因此，当您执行映射时，您将对RDD中的每个元素应用一个函数，并返回一个新的RDD，其中可以调用其他转换或操作。

Foreach是一个动作，它接受每个元素并应用一个函数，但不返回值。这在您必须调用RDD并在其他地方记录结果时特别有用，例如数据库或使用RDD中的每个元素调用REST API。

例如，假设您有一个RDD，其中包含许多您希望登录到另一个系统中的查询。查询存储在RDD中。

queries = <code to load queries or a transformation that was applied on other RDDs>

然后，您希望通过调用另一个API将这些查询保存到另一个系统中

import urllib2

def log_search(q):
    response = urllib2.urlopen('http://www.bigdatainc.org/save_query/' + q)

queries.foreach(log_search)

现在您已经在RDD的每个元素上执行了log_query。如果您已经完成了映射，那么在您调用操作之前什么都不会发生。

苗康平

2023-03-14

一个非常简单的例子是rdd。foreach（print），它将打印RDD中每一行的值，但不会以任何方式修改RDD。

例如，这将生成一个数字为1-10的RDD：

>>> rdd = sc.parallelize(xrange(0, 10)).map(lambda x: x + 1)
>>> rdd.take(10)
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

map调用为每一行计算了一个新值，并返回该值，以便获得一个新的RDD。但是，如果我使用foreach，那将是无用的，因为foreach不会以任何方式修改rdd：

>>> rdd = sc.parallelize(range(0, 10)).foreach(lambda x: x + 1)
>>> type(rdd)
<class 'NoneType'>

相反，在返回无的函数上调用map不是很有用：

>>> rdd = sc.parallelize(range(0, 10)).map(print)
>>> rdd.take(10)
0
1
2
3
4
5
6
7
8
9
[None, None, None, None, None, None, None, None, None, None]

print调用返回无，因此映射只是给你一堆无值，你不想要这些值，也不想保存它们，所以返回它们是一种浪费。（注意带有1、2等的行是正在执行的print，它们直到您调用获取才会出现，因为RDD是懒惰执行的。然而，RDD的内容只是一堆无。

更简单地说，如果您关心函数的返回值，请调用map。如果没有，请致电foreach。

共有2个答案