为什么在火花中提取参数到局部变量被认为是更安全的？

Question

我在《学习火花：闪电般的大数据分析》一书中看到了这个例子：

class SearchFunctions(val query: String) {
 // more methods here
 def getMatchesNoReference(rdd: RDD[String]): RDD[String] = {
 // Safe: extract just the field we need into a local variable
 val query_ = this.query
 rdd.map(x => x.split(query_))
 }
}

我的问题是——评论说：安全：将我们需要的字段提取到局部变量中

为什么提取到局部变量比使用字段（定义为val）本身更安全？

Answer 1

由于其他答案没有提到它：它更安全的另一个原因是因为您引用的字段/方法的类可能无法序列化。由于Java不允许在编译时检查它，因此您会遇到运行时失败。在StackOverflow上有很多此类问题的示例：我发现的前几个是任务不可序列化：java.io.NotSerializableException在闭包之外调用函数时仅对类而不是对象，SparkContext在同伴对象内不可序列化，在不引起序列化问题的情况下丰富SparkContext，Spark序列化错误。搜索火花NotSerializableException应该会给你更多，当然不仅仅是在Stack Overflow上。

或者它现在可以序列化，但显然不相关的更改（例如添加lambda不使用的字段）可能会使代码不可序列化或显著降低性能，从而破坏代码。

Answer 2

因为当你只提取查询时必须被序列化并发送给工作人员。

如果您没有提取，将发送SearchFunctions的完整实例。

Answer 3

Spark中的传递函数非常有用，并且可以回答您的问题。

其想法是，您只希望将查询传递给需要它的工作人员，而不是（类的）整个对象。

如果您没有这样做（如果您使用的是map（）中的字段，而不是局部变量），那么：

...发送包含该类的对象以及方法。以类似的方式，访问外部对象的字段将引用整个对象

请注意，这也更安全，而不仅仅是更高效，因为它最大限度地减少了内存使用。

你看，当处理真正的大数据时，你的工作将面临内存限制，如果超过了这些限制，它将被资源管理器（例如，Thread）杀死，因此我们希望确保使用尽可能少的内存，以确保我们的工作能够成功，而不会失败！

此外，大对象将导致更大的通信开销。当通信规模过大时，对等方可能会重置TCP连接，这将调用不必要的开销，我们希望避免这种情况，因为通信不好也是作业失败的原因之一。