Spark ML-无法使用MatrixFactorizationModel加载模型

Question

我正在尝试使用Spark协同过滤实现推荐系统。

首先准备模型并保存到磁盘：

MatrixFactorizationModel model = trainModel(inputDataRdd);  
model.save(jsc.sc(), "/op/tc/model/");

   static JavaSparkContext jsc ;
    private static Options options;
    static{
        SparkConf conf = new SparkConf().setAppName("TC recommender application");
        conf.set("spark.driver.allowMultipleContexts", "true");
        jsc= new JavaSparkContext(conf);
     }
MatrixFactorizationModel model = MatrixFactorizationModel.load(jsc.sc(),
                "/op/tc/model/");

例外情况：

有没有我需要设置的配置来加载模型？任何建议都会很有帮助。

Answer 1

在Spark和在任何其他分布式计算框架中一样，当您试图调试代码时，了解代码运行的位置是很重要的。访问各种类型也很重要。例如，在YARN中，您可以：

• 如果您自己记录，则主日志
• 聚合的从属日志（谢谢纱，有用的功能！）
• 纱线节点管理器（例如，将告诉您一个容器被杀死的原因等）
• 等

如果你没有从一开始就看对地方，挖掘火花问题可能会相当耗费时间。现在更具体地说，关于这个问题，您有一个清晰的stacktrace，这并不总是如此，所以您应该利用它来获得优势。

线程“main”java.io.ioException：不是文件：maprfs：/op/tc/model/data在org.apache.hadoop.mapred.fileinputformat.getsplits（fileinputformat.java:324)在org.apache.spark.rdd.hadooprdd.getpartitions（fileinputformat.java:199)在org.apache.spark.rdd.rdd$$anonfun$partitions$2.apply(Rdd.scala:239)在

如您所见，Spark作业失败时正在执行map操作。谁执行映射？因此，您必须确保您的文件在所有从机上可用，而不仅仅是在主机上可用。

更普遍地说，您总是需要在头脑中明确区分您正在为主人编写的代码和您正在为从者编写的代码。这将帮助您检测此类交互，以及对不可序列化对象的引用和此类常见错误。