火花之间的区别是什么。罐子和火花。驾驶员类外路径[重复]
我试图运行火花程序，在纱线客户端模式下使用火花提交，并获得类NotFindException。所以我的问题是我应该在哪个参数中传递我的jar（--jars或--drier-class-path）。
Spark=2.0.0 HDP 2.5 Hadoop=2.7.3
共有1个答案
如果要使这些JAR对驱动程序和执行器类路径都可用，请使用JAR。如果所需的jar仅由驱动程序代码使用，请使用选项“驱动程序类路径”
-
当我使用DF的列名作为参数时，与使用和有什么根本区别？ 哪一个是省时的，每一个的确切含义是什么？当我通过一些例子时，请有人详细解释一下，但这是令人困惑的。
-
我正在一个playscala应用程序中从1.6升级到spark 2.0，不太确定如何设置我想要的jar文件。以前会定义一个SparkConf，我可以调用的方法之一是setJars，它允许我指定我想要的所有jar文件。现在我正在使用SparkSession构建器构建我的spark conf和spark上下文，我没有看到任何类似的方法来指定jar文件？我该怎么做？ 这是我之前如何创建我的火花会议： 我
-
我在aws s3和emr上使用Spark 2.4进行项目，我有一个左连接，有两个巨大的数据部分。火花执行不稳定，它经常因内存问题而失败。 集群有10台m3.2xlarge类型的机器，每台机器有16个vCore、30 GiB内存、160个SSD GB存储。 我有这样的配置: 左侧连接发生在 150GB 的左侧和大约 30GB 的右侧之间，因此有很多随机播放。我的解决方案是将右侧切得足够小，例如 1G
-
一些脚本在工作时什么也不做，当我手动运行它们时，其中一个失败了，出现了以下消息： 错误SparkUI：未能绑定SparkUI java.net.bindexception：地址已在使用：服务“SparkUI”在重试16次后失败！ 所以我想知道是否有一种特定的方法来并行运行脚本？
-
我正在尝试从这个Scala代码写入csv文件。我使用HDFS作为临时目录，然后writer.write在现有子文件夹中创建一个新文件。我收到以下错误消息： java.io./tfsdl-ghd-wb/raidnd/Incte_19 如果我选择新建文件或退出文件，也会发生同样的情况，我已经检查了路径是否正确，只想在其中创建一个新文件。 问题是，为了使用基于文件系统的源写入数据，您需要一个临时目录，这
-
如何在2.1.1中存档相同的行为？ 谢谢你。