spark streaming workdcount python代码导致spark提交失败
我刚刚复制了spark streaming wodcount python代码，并使用spark-submit在spark集群中运行wordcount python代码，但它显示了以下错误：
py4j.protocol.Py4JJavaError: An error occurred while calling o23.loadClass.
: java.lang.ClassNotFoundException: org.apache.spark.streaming.kafka.KafkaUtilsPythonHelper
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
我确实构建了jar spark-streaming-kafka-assembly2.10-1.4.0-snapshot.jar。我使用以下脚本提交:bin/spark-submit/data/spark-1.3.0-bin-hadoop2.4/wordcount.py--master spark://192.168.100.6:7077--jars/data/spark-1.3.0-bin-hadoop2.4/kafka-assembly/target/spark-streaming-kafka-assembly_*.jar。
提前感谢！
共有1个答案
实际上，我刚刚意识到在脚本后面包含了--jar。除非在脚本名称之前指定jar，否则不会包括jar文件。因此，使用spark-submit--jars spark-streaming-kafka-assembly2.10-1.3.1.jar script.py代替spark-submit-script.py--jars spark-streaming-kafka-assembly2.10-1.3.1.jar。
-
开发组非常欢迎各位向我们提交PR(Pull Request)，但是为了保证代码质量和统一的风格，向官方的主仓库 swoft/swoft 和 开发仓库 贡献代码时需要注意代码和 commit 格式 发起PR时的注意事项 请不要提交 PR 到各个组件仓库，它们都是 只读的 核心组件的 开发仓库 是 swoft/swoft-component 扩展组件的 开发仓库 是 swoft/swoft-ext 请
-
1. 安装和使用 npm install commitizen -g # 在项目中配置 commitizen init cz-conventional-changelog --save-dev --save-exact npm install -D husky @commitlint/config-conventional @commitlint/cli 在package.json中添加配置 {
-
开发和提交代码 安装环境 推荐在 Linux（如 Ubuntu 14.04+）或 MacOS 环境中开发代码，并安装如下工具。 git：用来获取代码。 golang 1.6+：安装成功后需要配置 $GOPATH 等环境变量。 Docker 1.12+：用来支持容器环境，注意 MacOS 下要用 Docker for Mac。 获取代码 首先注册 Linux foundation ID，并登陆 ht
-
一定要注意 请确保你修改的类上的 JDoc, 有你的大名，比如 "@author zozoh(zozohtnt@gmail.com)" 首先，体现了你的贡献 否则，出了问题，不知道由谁主要负责 请尽量用统一的 code formatter， 导入 /nutz/doc/eclipse/nutz-eclipse-java-code-format-1.0.xml，否则我们同步代码是很难比较 去掉的代码不
-
和 Cocos2d-x-lite 一样，Cocos Creator 3D 也是一个开源引擎，连同范例、文档都是开源的。 在你开发游戏的过程中，当发现了引擎、文档或者范例不够完善的地方，如果仅仅是向官方团队提出建议，官方团队可能会因为人力资源的紧张而无法及时跟进。在此我们欢迎所有用户主动向我们提交 PR，帮助 Cocos 越做越好。引擎有 Bug？提 PR！范例难看？提 PR！API 注释不清晰？提
-
在 提交失败，错误0个文件提交，3个文件提交失败：无法创建'C：/xampp/htdocs/project/. git/index.lock'：文件存在 另一个git进程似乎正在该存储库中运行，例如，由“git提交”打开的编辑器。请确保所有进程都已终止，然后重试。如果仍然失败，那么git进程可能已经在此存储库中崩溃：手动删除该文件以继续。 我关闭了所有开放的终端，反复尝试，但没有成功。 谢谢你的建