将函数传递给Spark：引用整个对象的风险是什么？
根据向Spark传递函数，它声称：
访问外部对象的字段将引用整个对象；为了避免这个问题
我正在考虑流动代码的风险是什么：
class MyClass {
val field = "Hello"
def doStuff(rdd: RDD[String]): RDD[String] = { rdd.map(x => field + x) }
}
所有这些都会有什么害处吗？
共有1个答案
这将导致Spark序列化整个对象，并将其发送给每个执行者。如果对象的某些字段包含大量数据，则速度可能较慢。如果对象不可序列化，它还可能导致任务不可序列化异常
下面是一个有这个问题的人的例子：任务不可序列化：java。伊奥。仅在类而非对象上调用闭包外函数时NotSerializableException
-
我很好奇在Spark中把一个RDD传递给一个函数到底做了什么。 假设我们如上定义一个函数。当我们调用函数并传递一个现有的RDD[String]对象作为输入参数时，这个my_function是否将这个RDD作为函数参数进行“复制”？换句话说，是按引用调用还是按值调用？
-
问题内容： 我是android新手，非常习惯于网络开发。在javascript中，当您要执行异步任务时，可以将函数作为参数传递（回调）： 我想知道我们是否可以对android进行相同的操作，将函数引用传递给方法，然后它将运行它。 有什么建议 ？ 问题答案： 是的，回调的概念在Java中也非常存在。在Java中，您可以这样定义一个回调： 人们通常会在这样的内部嵌套这些侦听器定义： 回调的完整实现如下
-
我创建了一个Author对象，用于构造函数的方法签名:public Book但是，我所做的赋值要求将Author（实例变量）更改为。当然，现在我以前的构造函数不行了。这是密码 如果我上传的方式不令人满意，我对任何不便表示歉意。我还没有学会使用堆栈溢出。 谢谢！
-
问题内容： 我正在考虑我的应用程序的解决方案。这是一种情况：我有一个类，该类的方法将ObjectA作为输入参数并调用几个小方法，这些方法中的每个方法都需要ObjectA的某些部分（它们不重叠，即需求和，需求等等）。 …）现在的问题是：鉴于一般的良好代码实践和性能，将ObjectA传递给这些方法中的每一个方法更好，以便它们可以自己提取所需的值，还是仅传递它们的值更好？我的意思是： 要么 感谢您的任何
-
问题内容： 我正在尝试使用Luaj + Java构建控制器。我有以下java类 以及控制器的以下lua脚本： 理想情况下，我想定义一个控制器（用lua编写），在其中我将保留程序的所有逻辑，并且我希望将该控制器的API公开给我的Java代码。我正在尝试使用以下方法： 我无法将对象传递给LuaValue。如何将Java对象传递给lua脚本？ PS：通常，在使用Java和嵌入式脚本时，人们会将功能捆绑在
-
我有一个组件，我在其中传递我想要在模态中显示的内容，如下所示： 模态服务如下所示： 在我的popupComponent我有： 现在一切都很好，但是我现在想做的是将一个函数传递给我的服务，以便它使用它。像这样的事情，但我不知道怎么做：