spark-submit一个.scala文件
我一直在运行一些测试spark scala代码，使用的Spark-Shell可能是一种很糟糕的方法：
spark-shell --conf spark.neo4j.bolt.password=Stuffffit --packages neo4j-contrib:neo4j-spark-connector:2.0.0-M2,graphframes:graphframes:0.2.0-spark2.0-s_2.11 -i neo4jsparkCluster.scala
这将在spark上执行我的代码，完成后弹出到shell中。
现在我正试图在集群上运行它，我想我需要使用spark-submit，我认为应该是：
spark-submit --conf spark.neo4j.bolt.password=Stuffffit --packages neo4j-contrib:neo4j-spark-connector:2.0.0-M2,graphframes:graphframes:0.2.0-spark2.0-s_2.11 -i neo4jsparkCluster.scala
val conf = new SparkConf.setMaster("local").setAppName("neo4jspark")
val sc = new SparkContext(conf)
val sc = new SparkContext(new SparkConf().setMaster("spark://192.20.0.71:7077")
共有1个答案
有两种快速而肮脏的方法可以做到这一点：
- 不修改scala文件
只需使用带有-i标志的spark shell：
-
有人能解释一下spark-submit脚本中的和之间的区别吗？ 另外，如果依赖项在应用程序中，我是否需要配置？（我这样问是因为我在中更改了版本，而忘记在中更改了它，这使我的应用程序崩溃了）
-
我在使用以下简单示例时遇到了“ClassNotFound”异常的问题： 在本地模式下，按照文档提交会在第31行生成一个“ClassNotFound”异常，其中ClassToRoundTrip对象被反序列化。奇怪的是，前面28行的使用还可以： 但是,提交给本地开发人员主机仍然会产生相同的问题： 我可以从输出中看到JAR文件正在被执行器提取。 下面是其中一个执行程序的日志：
-
scala代码是： 打包以后的jar中有stopwords.dic这个文件 路径也是对的 但是还是报错了： Caused by: java.io.FileNotFoundException: file:/Users/laiyinan/Desktop/cc_core/out/artifacts/cc/cc_core.jar!/stopwords.dic (No such file or direct
-
我正试图在我的iMac上安装apache-spark，使用以下两页中的说明： https://medium.com/macoclock/how-to-install-apache-pyspark-on-macbook-pro-4A9249F0D823 /usr/local/cellar/apache-spark/3.0.1/libexec/bin/spark-shell:第60行：/usr/loc