火花脂肪罐在纱线上运行多个版本
然而，我不知道我是否真的需要一个插件，如果需要，是哪一个，以及如何去做它。我尝试使用'build/mvn'和'build/sbt'直接编译github源代码，但是'spark-assembly2.11-2.0.2.jar'文件只有283字节。
我的目标是使用较新版本的fat jar运行pyspark shell，其方式与这里提到的类似。
共有1个答案
从spark 2.0.0版本不再支持创建far jar开始，您可以在spark 2.0.0中我们还必须为提交作业创建fat jar吗？
在您的情况下（在YARN上运行），建议使用Spark的jars/目录的内容在HDFS上创建目录，并将此路径添加到spark-defaults.conf:
spark.yarn.jars hdfs:///path/too/jars/directory/on/hdfs/*.jar
然后，如果运行pyspark shell，它将使用以前上传的库，因此它的行为与Spark1.x中的fat jar完全相同。
-
我使用JarSplice创建了一个胖jar文件，但是当我启动它时，我得到一个窗口（大小可以），它在半秒后关闭。。。 在“addjars”部分中，我添加了从Eclipse导出的jar文件，以及我正在使用的所有库jar。在本机部分，我只为lwjgl添加Windows本机。我想我写了正确的主类。 我做错了什么？我怎样才能解决这个问题？ 注意：我使用的是最新版本的eclipse和jdk。
-
我将Gradle用于一个简单的Java项目，并希望生成一个fat JAR，其中还包含源代码。 我准备了一个示例存储库：https://github.com/szarnyasg/gradle-shadowjar-source.我尝试了这个配置： 我可以通过以下方式构建此功能： 这将在目录中生成两个JAR文件： -没有源的胖JAR -一个（仅）包含源的JAR Gradle Shadow插件的文档说明
-
我正在用Spring Boot，Jpa和MySQL连接器编写java控制台应用程序。我怎样才能轻松地排除所有不必要的脂肪从我的脂肪罐？
-
我正在尝试使用spark over Thread（CentOS上的Cloudera Hadoop 5.2）运行一个简单的Map/Reduce java程序。我试过两种不同的方法。第一种方法是： 此方法会产生以下错误： 诊断：应用程序application_1434177111261_0007失败2次，原因是appattempt_1434177111261的AM容器_0007_000002退出exi
-
我在Java 8应用程序中使用了处理，它在IntelliJ上运行良好。Gradle导出所有平台的fat jar（下面的代码）打包依赖项后出现问题： 每当我试图打开扩展PApplet的窗口时，它都会引发以下异常： 通用域名格式。约甘普。opengl。GLException:配置文件[GL4bc、GL4、GL3bc、GL3、GLS3、GL2、GLS2]在设备窗口GraphicsDevice[type.
-
我一直试图提交一个简单的python脚本，以便在一个带有Yarn的集群中运行它。当我在本地执行作业时，没有问题，一切都很好，但当我在集群中运行它时，它就失败了。 诊断：文件不存在:hdfs://myserver:8020/user/josholsan/.sparkstaging/application_1510046813642_0010/test.py 我不知道为什么它找不到test.py，我也