任务在Spark中失败，ClassNotFoundException

Question

我正试图编写一个简单的java程序，通过Spark从Cassandra读取数据。我是在POC级别做这件事的。我的代码是这样的

String keyspace = "newkspace1";
String tablename = "newtable5";
public static void main(String[] args) 
    {
        SparkConf conf = new SparkConf();
        conf.setAppName("Cassandra Demo");
        conf.setMaster("spark://ct-0094:7077");
        conf.set("spark.cassandra.connection.host", "192.168.50.124");
        conf.set("spark.cassandra.connection.native.port", "9041");
        conf.set("spark.cassandra.connection.rpc.port", "9160");
        PerformerClass app = new PerformerClass(conf);
        app.run();
    } 
private void run() 
    {
        JavaSparkContext sc = new JavaSparkContext(conf);
        showResults(sc);
        sc.stop();
    }
 private void showResults(JavaSparkContext sc) 
    {
        CassandraJavaPairRDD<Integer, Integer> rdd1 = javaFunctions(sc)
                .cassandraTable(keyspace, tablename, mapColumnTo(Integer.class), mapColumnTo(Integer.class))
                .select("keyval", "rangefield");


        List<Integer> lst = rdd1.keys().toArray();
        for(Integer l : lst)
        {
            System.out.println(l);
        }
    }

当我运行上述代码时，我得到了以下异常（下面粘贴了堆栈跟踪）

15/01/15 19:22:41警告调度程序。TaskSetManager:在0.0阶段（TID 1，ct-0094）中丢失了task 1.0：java。lang.ClassNotFoundException:com。税收。火花连接器。rdd。分割者。java的Cassandrappartition。网1美元。在java上运行（URLClassLoader.java:372）。网1美元。在java上运行（URLClassLoader.java:361）。安全访问控制器。java上的doPrivileged（本机方法）。网URLClassLoader。java上的findClass（URLClassLoader.java:360）。lang.ClassLoader。java上的loadClass（ClassLoader.java:424）。lang.ClassLoader。java上的loadClass（ClassLoader.java:357）。朗，同学们。java上的forName0（本机方法）。朗，同学们。org上的forName（Class.java:340）。阿帕奇。火花序列化程序。JavaDeserializationStream$$anon$1。resolveClass（JavaSerializer.scala:59）[…]

我错过了什么？

Answer 1

我自己通过浏览一些博客解决了这个问题。

实际上，程序的jar必须包含在程序中，就像

JavaSparkContext sc = new JavaSparkContext(conf);
sc.addJar("./target/SparkPOC-0.0.1-SNAPSHOT-jar-with-dependencies.jar");

这解决了问题。但是每次在运行代码之前，您都必须Maven Install（即创建jar）您的代码，然后运行它。我仍在寻找可以避免这些步骤的更好方法。