Spark Python提交错误：文件不存在：pyspark.zip
Seq(System.getenv("SPARK_HOME")+"/bin/spark-submit","--master",sparkConfig.getString("spark.master"),"--executor-memory",sparkConfig.getString("spark.executor-memory"),"--num-executors",sparkConfig.getString("spark.num-executors"),"python/app.py") !
但票还是开着的！
共有1个答案
当您试图用部署模式“集群”触发提交作业，并且试图将master设置为“local”时，就会发生这种情况；例如。
val sparkConf = new SparkConf().setAppName("spark-pi-app").setMaster("local[10]");
您有两个选项：选项#1:将上面的行更改为：
val sparkConf = new SparkConf().setAppName("spark-pi-app");
并将作业提交为
./bin/spark-submit --master yarn --deploy-mode cluster --driver-memory 512m --executor-memory 512m --executor-cores 1 --num-executors 3 --jars hadoop-common-{version}.jar,hadoop-lzo-{version}.jar --verbose --queue hadoop-queue --class "SparkPi" sparksbtproject_2.11-1.0.jar
./bin/spark-submit --master yarn --deploy-mode client --driver-memory 512m --executor-memory 512m --executor-cores 1 --num-executors 3 --jars hadoop-common-{version}.jar,hadoop-lzo-{version}.jar --verbose --queue hadoop-queue --class "SparkPi" sparksbtproject_2.11-1.0.jar
-
我试图看看图片是否存在，但这说不存在，路径是正确的！路径是正确的，它有一张图片，但这总是转到“其他”。
-
问题内容： 因此，我制作了一个名为util的文件夹，并在其中放置了四个类以及名为unit10Assignment的程序。我创建了一个包util，并在每个类代码的顶部键入“ package util;”，如下所示： 然后我写道： 在程序之上。但是，当我编译它时，它会告诉我。有人知道为什么吗？我尝试使用它，当我输入import java.util *时，它消失了；相反，但我不确定我的老师想作为她的示例
-
我有以下代码 它返回错误： 如果我使用运行，我不会收到任何错误。不幸的是，我真的不能在无头状态下运行我想运行的东西。有人有什么想法吗？
-
我很难得到在商店工作的promise。 我通过一个动作调用突变，这似乎很有效。 该操作被导入到我的组件中： 然后叫： 这一切看起来都有效，但是当我检查Vue开发工具时，Vuex基本状态保持不变，并且我有一个活动突变（setPlace）。我可以点击“全部提交”来提交有效的突变。 在我的组件中，我在getter mapLocation上使用了一个监视程序，当我单击Commit All时会触发该监视程序
-
在tutorial目录新建一个文件，然后将文件添加到数据库。 首先在tutorial目录里新建一个名为「sample.txt」的文本文件，请在文件中输入以下的内容： 连猴子都懂的Git命令 Windows 打开tutorial目录，右击任意空白地方，然后从右击菜单选择‘Git提交’。 显示以下画面后，请点选‘变更列表’里的sample.txt，然后在日志信息方框中输入提交信息，再点击‘确定’键
-
Guy的任何人都可以帮助我，我的netbean 8.0.1有问题，我无法卸载，有一条错误消息“C：\User\X\AppData\Roaming\Netbean\8.0.1\lock存在锁定文件”。