使用spark submit运行spark应用程序

Question

我是Spark的新手。我有一个应用程序，通过调用spark shell来运行每个spark sql查询。因此，它将生成一组如下所示的查询，并调用spark shell命令逐个处理这些查询。

Val Query=spark.sql（""SELECT userid as userid，评级为评级，电影为电影从default.movie表""）；

现在我想用spark submit而不是spark shell来运行这个应用程序。有人知道怎么做吗？

Answer 1

如果您使用scala，spark submit接收一个jar文件，那么您必须创建一个scala项目，使用sbt作为依赖项/构建工具，sbt可以接收您的所有代码并将其捆绑到一个jar文件中。你可以遵循这个指南python和java也有类似的方法

更新1:sparkshell用于进行快速实验，当调用sparkshell时，它会自动实例化SparkSession，因此当你想通过编程实现这一点时，你需要通过编程来调用它。

例如：

val sparkSession: SparkSession = 
SparkSession.builder.appName("awesomeApp").getOrCreate()

// This import is needed to use the $-notation, and imported automatically in `spark-shell` by default
import sparkSession.implicits._

...
//code to generate/import/build your `movieTable` view/table
...

val queryOutputDf=sparkSession.sql(""" SELECT userid AS userid, rating AS rating, movieid AS movieid FROM default.movieTable""");

//the above output is a `dataframe`, it needs to be written to a file
queryOutputDf.rdd.map(_.toString()).saveAsTextFile("/path/to/a/file/with/good/name")

这将实现单个查询的目的，您必须循环查询并将其传递给上面的用户。