当接收器发生故障且WAL存储在s3中时，Spark streaming无法从预写日志记录中读取数据

Question

这是错误日志-

组织。阿帕奇。火花SparkException：无法从组织中的预写日志记录文件BasedWriteHeadLogSegment（s3n://****/检查点/接收数据/20/日志-14392986600-1439298758600136785069）读取数据。阿帕奇。火花流动。rdd。WriteAheadLogBackedBlockRDD。org$apache$spark$streaming$rdd$writeahelogbackedblockrdd$$getblockfromwriteahelog$1（writeahelogbackedblockrdd.scala:144）位于org。阿帕奇。火花流动。rdd。WriteAheadLogBackedBlockRDD$$anonfun$计算$1。在org上应用（WriteAheadLogBackedBlockRDD.scala:168）。阿帕奇。火花流动。rdd。WriteAheadLogBackedBlockRDD$$anonfun$计算$1。在scala中应用（WriteAheadLogBackedBlockRDD。scala:168）。选项位于org的getOrElse（Option.scala:120）。阿帕奇。火花流动。rdd。WriteAheadLogBackedBlockRDD。compute（WriteAheadLogBackedBlockRDD.scala:168）位于org。阿帕奇。火花rdd。RDD。位于组织的computeOrReadCheckpoint（RDD.scala:277）。阿帕奇。火花rdd。RDD。org上的迭代器（RDD.scala:244）。阿帕奇。火花rdd。UnionRDD。在组织上计算（UnionRDD.scala:87）。阿帕奇。火花rdd。RDD。位于组织的computeOrReadCheckpoint（RDD.scala:277）。阿帕奇。火花rdd。RDD。org上的迭代器（RDD.scala:244）。阿帕奇。火花rdd。MapPartitionsRDD。在组织上计算（MapPartitionsRDD.scala:35）。阿帕奇。火花rdd。RDD。位于组织的computeOrReadCheckpoint（RDD.scala:277）。阿帕奇。火花rdd。RDD。org上的迭代器（RDD.scala:244）。阿帕奇。火花rdd。MapPartitionsRDD。在组织上计算（MapPartitionsRDD.scala:35）。阿帕奇。火花rdd。RDD。位于组织的computeOrReadCheckpoint（RDD.scala:277）。阿帕奇。火花rdd。RDD。org上的迭代器（RDD.scala:244）。阿帕奇。火花调度程序。ShuffleMapTask。在组织上运行任务（ShuffleMapTask.scala:70）。阿帕奇。火花调度程序。ShuffleMapTask。运行任务（ShuffleMapTask.scala:41），位于org。阿帕奇。火花调度程序。任务在组织上运行（Task.scala:70）。阿帕奇。火花执行人。执行者$TaskRunner。在java上运行（Executor.scala:213）。util。同时发生的线程池执行器。java上的runWorker（ThreadPoolExecutor.java:1145）。util。同时发生的ThreadPoolExecutor$工作者。在java上运行（ThreadPoolExecutor.java:615）。lang.Thread。运行（Thread.java:745）的原因：java。组织中的lang.NullPointerException。阿帕奇。火花流动。util。FileBasedWriteHeadLog。读取（filebasedWriteHeadlog.scala:106），位于org。阿帕奇。火花流动。rdd。WriteAheadLogBackedBlockRDD。org$apache$spark$streaming$rdd$writeahelogbackedblockrdd$$getblockfromwriteahelog$1（writeahelogbackedblockrdd.scala:141）。。。22个以上

注意：如果HDFS用作存储，从WAL读取可以正常工作。

非常感谢您的帮助。

Answer 1

看起来目前s3不支持WAL，Spark团队正在开发WAL免费配置。

https://issues.apache.org/jira/browse/SPARK-9215