rdd。管道投掷java。lang.IllegalStateException for grep-i shell命令？

Question

我正在运行RDD spark操作中使用管道的代码：

我尝试了以下代码片段：

//PIPE - run a external shell script in spark

val x = sc.parallelize(Array("A", "Ba", "C", "AD"))
val y = x.pipe("grep -i A")
println(x.collect())
println(y.collect())

但我得到了：

组织。阿帕奇。火花SparkException：作业因阶段失败而中止：阶段61.0中的任务0失败1次，最近的失败：阶段61.0中的任务0.0丢失（TID 592，localhost，executor driver）：java。lang.IllegalStateException：子进程退出，状态为1。运行命令：grep-i A用于运行上述代码段。

有没有办法通过管道运行grep-i命令？

我试着调用一个。sh脚本，它正在工作，但我想将其作为shell命令运行。参考




Answer 1

匿名用户

这是因为数据是分区的。即使在中使用相同的命令。sh文件正如您所提到的，您将得到相同的错误。如果将RDD重新分区到一个分区，它应该可以正常工作：

val y = x.repartition(1).pipe("grep -i A")

根据官方文件：

管道（命令，[envVars]）：

通过shell命令传输RDD的每个分区，例如Perl或bash脚本。RDD元素被写入进程的标准输入，输出到其标准输出的行作为字符串的RDD返回。

当您使用grep命令时，您不能独立地处理每一行，因为如果一个元素失败，它就存在。