当前位置: 首页 > 知识库问答 >
问题:

在没有sbt的情况下运行Spark sbt项目?

端木鹏
2023-03-14

共有1个答案

艾和通
2023-03-14

要独立运行Spark,您需要构建一个Spark程序集。在spark根目录上运行SBT/SBT Assembly。这将创建:assembly/target/scala-2.10/spark-assembly-1.0.0-snapshot-hadoop1.0.4.jar

然后使用依赖关系构建job jar(使用sbt assembly或maven-shade-plugin)

您可以使用生成的二进制文件从命令行运行spark作业:

ADD_JARS=job-jar-with-dependencies.jar SPARK_LOCAL_IP=<IP> java -cp spark-assembly-1.0.0-SNAPSHOT-hadoop1.0.4.jar:job-jar-with-dependencies.jar com.example.jobs.SparkJob
 类似资料:
  • 文档说这个库运行在GPU上。如果我功能强大的笔记本电脑没有GPU,我还能运行Deeplearning4J吗?

  • 问题内容: 我想像运行shell命令: 不用任何插件就能做到吗?由于Jenkins不是,而是服务帐户,我该如何添加? 问题答案: 首先执行 然后执行 然后注销 对于注销很重要,因为您需要重新评估组成员身份 登录并重试 有用!

  • 我正在学习JavaEE。我正在掌握CDI、依赖和上下文注入。现在看起来并不难。 现在我想试着写一些代码。我安装了NetBeans(安装了GlassFish和其他东西),现在有点卡住了。 我的书(冈萨尔维斯的《Java EE 7入门》)有一个很好的简单例子,演示了EJB和上下文/依赖注入、注释、拦截器、生产者等...在书中,他只是写了自己需要的代码,添加了bean.xml,这就是is。他使用mave

  • 我正在尝试将Cucumber集成到现有的Spring Boot项目中 当前项目是单个Maven模块 单元测试(不含Spring上下文)和集成测试(含Spring上下文)组合在同一个测试文件夹中。 我想做的是能够调整我的单元测试和集成测试。 但是一旦我添加了依赖项(为了能够在规范旁边运行Spring上下文),它就要求文件夹中的所有测试都用注释。 下面是我的测试套件,配置为获取测试规范。 是否可以将两

  • 问题内容: 背景: 我正在尝试使用弹性堆栈 (Elastic,Logstash和Kibana) ,但是我没有钱可支付。我不介意使用封闭源代码的部件,只要它们是免费的即可。在这方面,我试图了解弹性许可的工作原理。 我们打开X-Pack似乎建议在Elastic 6.3之后包含X-Pack代码 (尽管具有不同的许可证) 。我也了解X-Pack的某些部分是免费的,而其他部分则不是免费的。这有点令人困惑。

  • 有没有一种方法可以在不启动Android Studio的情况下运行模拟器。可能是从命令行。我知道这个功能在旧版本中是可用的,从那以后就消失了。但也许有人知道怎么做了?