当前位置: 首页 > 知识库问答 >
问题:

如何在intellij和scala中为spark创建Maven项目

冷夜洛
2023-03-14

我们是否需要分别安装hadoop和spark,在hadoop home上设置winutils并配置环境变量

我们创建maven项目,并在POM文件上编写所有依赖项。

共有1个答案

公孙新觉
2023-03-14

为了通过Maven用scala构建包,您不需要安装spark和Winutils.exe。Scala本身就足以构建和获取一个jar可执行文件。但是如果您想要在本地机器中测试您的代码,那么它是必需的。

 类似资料:
  • 如何在IntelliJ IDEA中从头开始打开JavaFX Maven项目?由于Java项目和JavaFx项目之间没有区别,我想打开一个包含Maven模块的专用JavaFx项目(从创建项目向导中选择JavaFx)。

  • 我使用的是IntelliJ IDEA社区版2016.1.3。我正在尝试创建一个maven多模块项目。项目公司是父模块,项目员工和项目技能集是子模块。项目员工和技术人员将有包装作为战争,但项目公司有包装作为POM。 我无法在employee和Skillset下创建一个类。我如何创建一个多模块的项目而没有在父(公司)的src文件夹?

  • 我为Spark Scala创建了一个maven项目,并编写了一些代码。我必须将它绑定为一个JAR文件,并从边缘节点(shell环境)运行它。但我正面临以下错误。请告知 [ERROR]无法执行目标org.scala-tools:maven-scala-plugin:2.11:compile(default)在项目XYZ上:目标org:Execution default.scala-tools:mav

  • 我可以从maven Projects窗格(在IDE屏幕的左侧)执行maven目标。例如,我可以使用compile目标很好地编译项目。 现在,我想使用BuildMake项目选项从UI构建项目。然而,它不起作用。它抱怨丢失的应用程序包,就好像它没有看到依赖关系一样。这些依赖关系在各自的pom.xml文件中定义,但是从IDE中创建项目似乎忽略了它。 我要做什么才能让它起作用? 项目flyout在括号中显

  • 我在网上搜索并找到了以下资源,我尝试了这些资源(请参见pom),但无法工作: 1)Spark用户邮件列表:http://apache-spark-user-list.1001560.n3.nabble.com/packaging-a-spark-job-using-maven-td5615.html 2)如何打包spark scala应用程序 我有一个简单的例子来演示这个问题,一个简单的1类项目(

  • 我正试图创建我的第一个“Hello World”Scala项目,使用Maven作为构建工具,IntelliJ作为我的IDE。在运行mvn包时,我不断遇到以下错误。 以下是完整的错误:未能执行目标组织。scala工具:maven scala插件:2.15.2:compile(默认)on project couchbase-test-3:wrap:org。阿帕奇。平民执行董事。ExecuteExcep