从Spark连接到SAPHANA

Question

我正在尝试通过JAVA代码在SAP HANA上使用火花SQL执行查询。在对数据帧对象调用任何操作时，当调用 df.count（）; 时，我在代码段下方得到 java.io.NotSerializableException.In，不会引发可序列化异常。

public class SaphanaTest implements Serializable {

    private static final long serialVersionUID = 1L;

    public void call() {

        SparkConf sparkconf = new SparkConf().set("spark.master", "local[*]");

        SparkContext sc = new SparkContext(sparkconf);
        HiveContext sqlContext = new HiveContext(sc);

        try {
            Class.forName("com.sap.db.jdbc.Driver");
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }

        Map<String, String> options = new HashMap<String, String>();
        options.put("url",
                "jdbc:sap://<IP>:30015/system");
        options.put("user", "SYSTEM");
        options.put("password", "Saphana123");
        options.put("dbtable", "SYSTEM.TEST1");

        DataFrame df = sqlContext.load("jdbc", options);

        df.registerTempTable("temp");
        df = sqlContext.sql("select * from temp");

        long count = df.count();
        sc.stop();
    }

    public static void main(String[] args) {
        SaphanaTest test = new SaphanaTest();
        test.call();
}
}

错误堆栈跟踪:

线程“main”org.apache.spark中出现异常。SparkException：位于org.apache.spark.util.ClosureCleaner$.ensureSerializable（ClosureCleaner.scala:315）的org.apacher.sark.util.ClosureCleaner$.org$apache$spark$util$ClosuleCleaner$$clean（Closulecleaner.scala:305）位于org.apache.sark.rdd.rdd$$anonfun$toLocalIterator$1.org$apache$spark$rdd$rdd$$annofun$$collectPartition$1（rdd.scala:900）位于org.apacher.sark.rdd$anonfun$tolocalIteratr$1$$annfun$apply$30.apply（rdd.scala:902）位于org.apache.rdd.rdd$ananofun$1$toLocal Iterator$1$$$anon fun$apply$30.apply（rdd.scala:902）scala.collection.Iterator$$anon$13.hasNext（Iterator.scala:371）位于com.ipopure.saphana.SaphanTest.main（SaphanaTest.java:48）的scala.ccollection.convert.Wrappers$IterattorWrapper.hasNext（Wrappers.scala:29）。NotSerializableException:com.sap.db.jdbc.topology。主机序列化堆栈：-对象不可序列化（类：com.sap.db.jdbc.topology.Host，值：172.26.52.54:30015）-writeObject数据（类：java.util.ArrayList）-object（类java.util.ArrayList，[172.26.52.55:30015]）-write对象数据（类java.jutil.Hashtable）-obObject（类java.util.Properties，｛dburl=jdbc:sap://172.26.52.54:30015，user=SYSTEM，password=Saphana123，url=jdbc：sap://172.26.52.54:30015/?system

有什么建议吗？在google上做了研究后，我发现了一个使连接属性可序列化的建议。但是我不知道如何在spark中将它序列化。

感谢您对此的帮助。提前感谢您。

Answer 1

这篇博文的注释部分解决了我的问题，你也可以试试:

注意：我已经使用最新的 SPS12 版本的哈纳 JDBC 驱动程序 （ngdbc.jar） 针对 SPS10 测试了火花