ALS Spark Scala中的检查点
我只想问一下如何在Spark中成功使用checkpointInterval的细节。你在ALS代码中的这个注释是什么意思https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/recommendation/ALS.scala
如果未在[[org . Apache . spark . spark context]]中设置检查点目录，*此设置将被忽略。
- 如何设置检查点目录？我们可以为此使用任何与hDF兼容的目录吗？
- 使用 setCheckpoint间隔是否是在 ALS 中实现检查点以避免堆栈溢出错误的正确方法？
编辑：
共有1个答案
如何设置检查点目录？我们能为此使用任何hdfs兼容的目录吗？
您可以使用SparkContext.setCheckpointDir。据我所知，在本地模式下，本地和DFS路径都可以正常工作，但在集群上，目录必须是HDFS路径。
使用 setCheckpoint间隔是否是在 ALS 中实现检查点以避免堆栈溢出错误的正确方法？
这应该有帮助。见SPARK-1006
PS：似乎为了在ALS中实际执行检查点，必须设置＜code＞checkpointDir＜/code＞，否则检查点将无效[Ref.here.]
-
问题内容： 我在理解Java 和异常之间的区别时遇到了一些问题。 首先，异常应该在编译时寻找异常。在不同来源中提供的示例引用了数据库连接性，其中一些是文件处理，而异常应该是在程序员方面寻找错误，例如索引超出数组范围等。 不应该反过来吗？我的意思是，数据库连接是在运行时完成的，对吧？文件处理也是如此。您没有在编译时打开文件句柄，那么为什么在编译时会寻找一个可能的错误呢？另一方面，超出数组范围的索引已
-
问题内容： 我有以下表达： …其中元素类型为： 是否可以在过滤器之前检查类型？ 问题答案： 您可以应用另一个以仅保留实例，并添加一个将为您节省以后的转换： 或者，正如Holger所说，如果您喜欢那种样式，可以用方法引用替换lambda表达式：
-
问题内容： 约书亚·布洛赫（Joshua Bloch）在《有效的Java》中说 将检查的异常用于可恢复的条件，将运行时异常用于编程错误（第二版中的项目58） 让我们看看我是否正确理解了这一点。 这是我对检查异常的理解： 1.以上是否被视为经过检查的异常？ RuntimeException是未经检查的异常吗？ 这是我对未经检查的异常的理解： 4.现在，上面的代码难道不是一个检查过的异常吗？我可以尝试
-
问题内容： 我需要检查数组以查看用户输入是否已经存在，并显示一条有关是否存在的消息。第一部分工作正常，但是我尝试创建一种用于单词检查的方法，我不确定自己是否走对了，干杯。 问题答案： 对。您显然已经经历了一个糟糕的思考过程，所以让我们清理一下状况，重新思考一下。 第一步：您需要一些用户输入 第二步：将其与所有先前的用户输入进行比较，以查看是否存在。 如果存在，则返回一条消息，指示已输入值。 否则忽
-
问题内容： 我目前正在开发一个带有嵌入式文本编辑器的程序。用户应该在编辑器中键入Java代码。然后，将输入编辑器中的代码制成字符串。我只想要一些可以检查缺少括号的内容或不带钩子的尝试，等等。它不需要编译。我已经看了很多遍，但是我还是编程新手，无法实现一些较难的东西。 因此，使其更简短：我正在寻找一些Java软件包，该软件包将分析代码中的语法错误。 问题答案： 从Java 6开始，您可以使用Java
-
问题内容： 建议的用于检查查询是否返回任何结果的惯用法是什么？ 例： 我想有几种不同的检查方法，但是我想知道一个有经验的Django用户将如何做。文档中的大多数示例只是忽略了什么都没有发现的情况… 问题答案：