Spark从Blob读取文本文件

Question

编写了通过Spark读取文本文件的代码...在Local中运行良好...但在HDInsight中运行时产生错误->从Blob读取文本文件

org.apache.spark.sparkException：作业由于阶段失败而中止：阶段0.0中的任务0失败了4次，最近的失败：阶段0.0中丢失的任务0.3（TID 5,wn1-hchdin.bpqkkmavxs0ehkfnaruw4ed03d.dx.internal.cloudapp.net,executor 2）：java.lang.AbstractMethoderRror：com.journaldev.sparkdemo.WordCounter$$lambda$17/790636414.call(ljava/lang/object；）ljava/util/iterator；在org.apache.spark.api.java.javarddlike$$anonfun$fn$1$1.apply(javarddlike$anonfun$fn$1$1.apply(javarddlike.spark.api.java.javarddlike$$anonfun$fn$125)在org.apache.spark.api.java.javarddlike$$anonfun$fn$1$1.apply(javarddlike.fn$125)在scala.collection.iterator$$anon$12.nextcur(iterator.scala:434)lexecutor.runworker（ThreadPoolExecutor.java:1149)位于java.util.concurrent.ThreadPoolExecutor$worker.run（ThreadPoolExecutor.java:624)位于java.lang.Thread.run（Thread.java:748)

这是我的代码

    JavaSparkContext ct = new JavaSparkContext();
        Configuration config = ct.hadoopConfiguration();
        config.set("fs.azure", "org.apache.hadoop.fs.azure.NativeAzureFileSystem");
        config.set("org.apache.hadoop.fs.azure.SimpleKeyProvider", "<<key>>");

        JavaRDD<String> inputFile = ct.textFile("wasb://<<container-nam>>@<<account>>.blob.core.windows.net/directory/file.txt");

        JavaRDD<String> wordsFromFile = inputFile.flatMap(content -> Arrays.asList(content.split(" ")));

        wordsFromFile.html" target="_blank">foreach(cc ->{System.out.println("p :"+cc.toString());});

Answer 1

对于运行在local上的Spark，有一个官方博客介绍了如何从Spark访问Azure Blob存储。关键是您需要将Azure Storage account配置为core-site.xml文件中的HDFS兼容存储，并将两个jar hadoop-azure和azure-storage添加到您的类路径中，以便通过协议wasb[s]访问HDFS。您可以参考官方教程来了解与wasb兼容HDFS的存储，以及关于HDInsight配置的博客来了解更多细节。

对于在Azure上运行的Spark，区别只是使用wasb访问HDFS，其他准备工作由Azure在使用Spark创建HDInsight集群时完成。列出文件的方法是sparkcontext的listFiles或wholeTextFiles。

希望有帮助。