当前位置: 首页 > 知识库问答 >
问题:

为什么./bin/spark-shell给出警告nativeCodeLoader:无法为您的平台加载native-hadoop库?

裴建华
2023-03-14
jacek:~/oss/spark
$ SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true SPARK_HIVE=true SPARK_GANGLIA_LGPL=true xsbt
...

[info] Set current project to root (in build file:/Users/jacek/oss/spark/)
> ; clean ; assembly
...
[info] Packaging /Users/jacek/oss/spark/examples/target/scala-2.10/spark-examples-1.0.0-SNAPSHOT-hadoop2.4.0.jar ...
[info] Done packaging.
[info] Done packaging.
[success] Total time: 1964 s, completed May 9, 2014 5:07:45 AM

警告NativEcodeLoader:无法为您的平台加载native-hadoop库...在适用的情况下使用内置Java类

可能有什么问题?

jacek:~/oss/spark
$ ./bin/spark-shell
Spark assembly has been built with Hive, including Datanucleus jars on classpath
14/05/09 21:11:17 INFO SecurityManager: Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
14/05/09 21:11:17 INFO SecurityManager: Changing view acls to: jacek
14/05/09 21:11:17 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(jacek)
14/05/09 21:11:17 INFO HttpServer: Starting HTTP Server
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.0.0-SNAPSHOT
      /_/

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0)
Type in expressions to have them evaluated.
Type :help for more information.
...
14/05/09 21:11:49 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
...

共有1个答案

戴凯歌
2023-03-14

Apache Hadoop中的本机库指南文档的支持平台如下:

本机hadoop库仅在*nix平台上受支持。该库不能与Cygwin或Mac OS X平台一起工作。

原生hadoop库主要在GNU/Linus平台上使用,并在这些发行版上进行了测试

    null
 类似资料:
  • 问题内容: 我目前正在运行 CentO 的服务器上配置hadoop 。运行或时,出现以下错误: WARN util.NativeCodeLoader:无法为您的平台加载本地hadoop库…在适当情况下使用内置java类 我正在运行 Hadoop 2.2.0。 在线进行搜索会显示以下链接:http : //balanceandbreath.blogspot.ca/2013/01/utilnative

  • 我目前正在运行CentOS的服务器上配置hadoop。当运行或时,会出现以下错误: 警告Util.NativeCodeLoader:无法为您的平台加载native-hadoop库...在适用的情况下使用builtin-java类 我运行的是Hadoop 2.2.0。 但是,Hadoop2.x上目录的内容似乎不同,所以我不知道该怎么办。 我还在中添加了这两个环境变量: 导出hadoop_opts=“

  • 会是什么原因呢?我不明白。 是我的输出文件。

  • 问题内容: 我目前正在运行CentO的服务器上配置hadoop 。运行或时,出现以下错误: WARN util.NativeCodeLoader:无法为你的平台加载本地hadoop库…在适当情况下使用内置java类 我正在运行Hadoop 2.2.0。 在线进行搜索会显示以下链接:http : //balanceandbreath.blogspot.ca/2013/01/utilnativecod

  • 我正在尝试从Spark开始。我的库中有Hadoop(3.3.1)和Spark(3.2.2)。我已经将SPARK_HOME、PATH、HADOOP_HOME和LD_LIBRARY_PATH设置为各自的路径。我还在运行JDK 17(在终端中回声和-version工作正常)。 然而,我仍然得到以下错误: 有没有办法解决这个问题?

  • 问题内容: 我正在使用docker-spark。启动后,它输出: 其环境变量是: 在CentOS上提到Hadoop“无法为您的平台加载本机Hadoop库”错误之后,我做了以下工作: (1)检查库: 是的,它是图书馆。 (2)尝试添加环境变量: 它不起作用,并报告相同的错误。 (3)尝试添加and 环境变量: 它仍然不起作用,并报告相同的错误。 有人可以提供有关此问题的一些线索吗? 问题答案: 将库