火花 2.0 设置罐
我正在一个playscala应用程序中从1.6升级到spark 2.0，不太确定如何设置我想要的jar文件。以前会定义一个SparkConf，我可以调用的方法之一是setJars，它允许我指定我想要的所有jar文件。现在我正在使用SparkSession构建器构建我的spark conf和spark上下文，我没有看到任何类似的方法来指定jar文件？我该怎么做？
这是我之前如何创建我的火花会议：
val sparkConf = new SparkConf().setMaster(sparkMaster).setAppName(sparkAppName).
set("spark.yarn.jar", "hdfs:///user/hadoop/spark-assembly-1.6.1-hadoop2.7.2.jar").
set("spark.eventLog.dir", "hdfs:///var/log/spark/apps").
set("spark.eventLog.enabled", "true").
set("spark.executorEnv.JAVA_HOME", "/usr/lib/jvm/jre-1.8.0-openjdk").
setJars(Seq(
"ALL JAR FILES LISTED HERE"
))
我可以使用火花生成器来完成与“setJars”相同的操作？
共有1个答案
您可以使用. config（key， value）方法设置spark.jars：
SparkSession.builder
.appName(sparkAppName)
.master(sparkMaster)
.config("spark.jars", commaSeparatedListOfJars)
.config(/* other stuff */)
.getOrCreate()
-
我已经配置了连接到Cassandra集群的独立spark集群，其中有1个主服务器、1个从服务器和Thrift服务器，该服务器用作Tableau应用程序的JDBC连接器。无论怎样，当我启动任何查询时，从属服务器都会出现在工作者列表中。所有工作负载都由主执行器执行。同样在Thrift web控制台中，我观察到只有一个执行器处于活动状态。 基本上，我希望火花集群的两个执行器上的分布式工作负载能够实现更高
-
一些脚本在工作时什么也不做，当我手动运行它们时，其中一个失败了，出现了以下消息： 错误SparkUI：未能绑定SparkUI java.net.bindexception：地址已在使用：服务“SparkUI”在重试16次后失败！ 所以我想知道是否有一种特定的方法来并行运行脚本？
-
我将pyspark应用程序从我自己的工作站上的pycharm启动到一个8节点集群。这个群集还有编码在spark-defaults.conf和spark-env.sh中的设置 显示未来的信息消息，但到那时已经太晚了。 如何设置spark开始时的默认日志记录级别？
-
我想了解以下关于火花概念的RDD的事情。 > RDD仅仅是从HDFS存储中复制某个节点RAM中的所需数据以加快执行的概念吗？ 如果一个文件在集群中被拆分，那么对于单个flie来说，RDD从其他节点带来所有所需的数据？ 如果第二点是正确的，那么它如何决定它必须执行哪个节点的JVM？数据局部性在这里是如何工作的？
-
我想从Spark v.1.6（使用scala）数据帧创建一个JSON。我知道有一个简单的解决方案，就是做。 但是，我的问题看起来有点不同。例如，考虑具有以下列的数据帧： 我想在最后有一个数据帧 其中C是包含、、的JSON。不幸的是，我在编译时不知道数据框是什么样子的（除了始终“固定”的列和）。 至于我需要这个的原因：我使用Protobuf发送结果。不幸的是，我的数据帧有时有比预期更多的列，我仍然会
-
我试图从聚合原理的角度来理解火花流。Spark DF 基于迷你批次，计算在特定时间窗口内出现的迷你批次上完成。 假设我们有数据作为- 然后首先对Window_period_1进行计算，然后对Window_period_2进行计算。如果我需要将新的传入数据与历史数据一起使用，比如说Window_priod_new与Window_pperid_1和Window_perid_2的数据之间的分组函数，我该