当前位置: 首页 > 知识库问答 >
问题:

在IntelliJ IDEA中打开Apache Spark源代码时出错

沈俊明
2023-03-14

我正在尝试用IntelliJ IDEA打开Apache Spark源代码。

我在Spark源代码根目录上打开了pom.xml。
项目树显示在项目工具窗口中。

但是,当我打开一个源文件时,比如org.apache.spark.deploy.yarn.ClientBase.scala,编辑器滚动条上会显示很多红色标记。这是“无法解决符号”错误。即使它也无法解决StringOps.format.

我怎么才能修好它?

在文件|项目结构窗口中,以下错误消息以粉红色背景显示:

Library ‘Maven: org.scala-lang:scala-compiler-bundle:2.10.4’ is not used

这可能是个暗示吗?

我使用的版本如下:

  • 操作系统:Windows 7
  • IntelliJ IDEA:13.1.6
  • Scala插件:0.41.2
  • Spark源代码:1.1.1(我修改了一些文件)

我试图修复这个问题,错误状态有所改变,但最终我放弃了自己修复它(使用谷歌搜索)并删除了。想法文件夹并重新开始。所以现在我看到了上面描述的错误。

更新:

我注意到以下弹出窗口:

Maven projects need to be imported: Import Changes Enable Auto-Import

并根据IntelliJ:Maven项目需要导入的文章启用自动导入:导入更改启用自动导入和http://javafortesters.blogspot.kr/2013/09/do-enable-auto-import-in-intellij-for.html . 现在IntelliJ解析基本Scala符号。

但它仍然不能解决一些符号。

值得注意的文件是yarn/common/src/main/scala/org/apache/spark/deploy/yarn/ClientBase。斯卡拉。在此文件中,未解析ClientArguments类。IntelliJ建议导入组织。阿帕奇。火花部署ClientBase,但实际上ClientArgument类与ClientBase在同一个包中,即org。阿帕奇。火花部署纱线客户争论。

为什么IntelliJ会混淆这一点?

谢谢你。

共有2个答案

支阳波
2023-03-14

似乎您的maven无法根据pom依赖项设置下载JAR。

两个可能的因素:

>

这也可能是因为您的maven home尚未在IntelliJ中设置。要设置它,您需要(在IntelliJ中Ctrl Shift A,输入“maven设置”,将maven home设置为指向您安装maven的位置。

葛和志
2023-03-14

您需要将Scala编译器从IntelliJ更改为“sbt增量编译器”(参见下面的屏幕截图)。

您可以通过转到“首选项”访问此选项-

注意:只有特定版本的IntelliJ scala插件才支持此功能。有关详细信息,请参阅此链接。http://blog.jetbrains.com/scala/2014/01/30/try-faster-scala-compiler-in-intellij-idea-13-0-2/

 类似资料:
  • 一些提示可能是问题所在: 当我键入spark-shell时,我使用Scala版本2.11.8(Java HotSpot(TM)64位服务器VM,Java 1.8.0_131)获得了这一点,这与我键入java-version openjdk版本“1.8.0_121”时不同。这会是问题吗? 安装SBT后我没有执行任何操作。我应该做一些设置吗?比如让sbt知道scala和spark的位置。怎么做? 我没

  • $ gdb -q `which gdb` (gdb) l 15 16 You should have received a copy of the GNU General Public License 17 along with this program. If not, see <http://www.gnu.org/licenses/>. */ 18

  • 我不熟悉R和NetCDF文件。我试图从这里打开.nc文件中的海面温度数据。我的代码如下: 但是我收到以下错误: 我从这里到这里都遵循了代码。我做错了什么? 非常感谢,米希尔

  • 我有一个简单的代码:

  • 我已经安装了4-1.5版本,但是打开的时候总是显示这个错误“应用服务器联系不上。”

  • 我正在尝试在javafx webview中打开一个网页。引发致命错误异常 错误是这样的- Java运行时环境检测到致命错误: pc=0x6e98299b,pid=4116,tid=4224时出现异常\u访问\u冲突(0xc0000005) JRE版本:7.0_10-b18JavaVM:JavaHotSpot(TM)Client VM(23.6-b04混合模式,共享windows-x86)问题帧:V