Submit Spark作业未加载spark-cloudant:2.0.0-S_2_11包
那么需要在命令中做哪些更改来加载包呢？
此包的详细信息显示在https://mvnrepository.com/artifact/cloudant-labs/spark-cloudant/2.0.0-S2.11中
共有1个答案
在使用Spark-submit命令加载包时似乎需要添加存储库,
--存储库url
所以新的命令将是,
-
是的...已经讨论了很多了。 但是，有很多不明确的地方，提供了一些答案...包括在jars/executor/driver配置或选项中重复jar引用。 类路径的影响 驱动程序 执行程序（用于正在运行的任务） 两者 一点也不 对于任务（对每个执行者） 用于远程驱动程序（如果在群集模式下运行） 方法 方法 或 或 不要忘记，spark-submit的最后一个参数也是一个.jar文件。 如果我从文档中猜
-
我已经为OSX编译了MDB-Tools，但是当我试图在另一台计算机上运行示例命令行程序时，我得到了这个错误： dyld:未加载库：/opt/local/lib/libglib-2.0。0.dylib引用自：/Users/dev/mdb/mdb测试原因：未找到映像跟踪/BPT陷阱：5 我认为这意味着目标系统缺少一个库，我认为这与链接有关，但我不太确定如何修复这个问题。谁能给我指出正确的方向？
-
错误抛出在“load(couldant_credentials['db_name'])”上，所以是否缺少要导入的库？ 我确信我使用的Cloudant证书是正确的。 我尝试使用Java代码，但得到同样的错误。
-
下面是我的java代码, Maven依赖项 获取错误详细信息,
-
问题内容： 但是有很多歧义和提供的一些答案…包括在jars / executor / driver配置或选项中复制jar引用。 How ClassPath is affected Driver Executor (for tasks running) Both not at all Separation character: comma, colon, semicolon If provided
-
我在纱线簇上使用Spark2.1(BTW)。 我正在尝试在纱线集群上传罐子，并使用它们来替代现场（alreading in-place）火花罐子。 我正试图通过Spark-Submit这样做。 “--jars”用于在每个节点上上传jar “--driver-class-path”用于将上载的jar用于驱动程序。 “--conf spark.executor.extraclasspath”用于将上载