在SparkR中使用CreateDataFrame时“作业因阶段失败而中止”

Question

library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib")))
sparkR.session(master = "spark://master:7077", sparkConfig = list(spark.cores.max="8", spark.executor.cores = "4"))
data(iris)
iris = createDataFrame(iris)
head(iris)

我的理解是，这是SparkR的一个非常基本的功能，所以我真的不知道为什么它不能工作。由于某种原因，当我使用read.jdbc直接从数据源读取sparkDataFrame时，我没有问题。还有，我注意到错误行中的数字“：stage xxx中的task 0..”每次失败时递增1。

我还注意到，错误似乎来自于执行程序找不到rscript的二进制文件，尽管我不确定为什么这只会发生在从本地data.frames创建的SparkDataFrames中，而不是从外部数据源中提取的SparkDataFrames中。

有人能帮我一下吗？

1. 头（查雷克斯）
2. 头（查雷克斯）
3. .local（x,...)
4. 取（x,num)
5. 取（x,num)
6. 收藏（有限）
7. 收藏（有限）
8. .local（x,...)
9. calljstatic（“org.apache.spark.sql.api.r.sqlutils”,“dftoCols”,.x@sdf)
10. InvokeJava（isStatic=TRUE,className,methodName,...)
11. 停止（readString（conn））

Answer 1

我是这样理解的：

read.jdbc起作用的原因是，在节点上，不需要r来执行操作：驱动程序(r运行的地方）将命令转换为spark，然后将其复制到工作节点并在工作节点上执行。

createdataframe失败的原因是它作为r命令复制到工作节点，因此节点需要访问rscript。