当前位置: 首页 > 面试题库 >

Hadoop“无法为您的平台加载本地hadoop库”警告

宗增
2023-03-14
问题内容

我目前正在运行 CentO 的服务器上配置hadoop 。运行start-dfs.sh或时stop-dfs.sh,出现以下错误:

WARN util.NativeCodeLoader:无法为您的平台加载本地hadoop库…在适当情况下使用内置java

我正在运行 Hadoop 2.2.0。

在线进行搜索会显示以下链接:http :
//balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-
load.html

但是,/native/hadoop 2.x 上目录的内容似乎有所不同,因此我不确定该怎么做。

我还在以下位置html" target="_blank">添加了这两个环境变量hadoop-env.sh

出口HADOOP_OPTS =“ $ HADOOP_OPTS -Djava.library.path = / usr / local / hadoop
/ lib /”

导出HADOOP_COMMON_LIB_NATIVE_DIR =“ / usr / local / hadoop / lib / native /”

有任何想法吗?


问题答案:

我假设您在64位CentOS上运行Hadoop。您看到警告的原因是本地Hadoop库$HADOOP_HOME/lib/native/libhadoop.so.1.0.0实际上是在32位上编译的。

无论如何,这只是一个警告,不会影响Hadoop的功能。

如果您确实想消除此警告,请采取以下方法:下载Hadoop的源代码并libhadoop.so.1.0.0在64位系统上重新编译,然后替换32位。

对于Ubuntu,此处包含有关如何重新编译源代码的步骤:

  • http://www.ercoppa.org/Linux-Compile-Hadoop-220-fix-Unable-to-load-native-hadoop-library.htm

祝好运。



 类似资料:
  • 问题内容: 我目前正在运行CentO的服务器上配置hadoop 。运行或时,出现以下错误: WARN util.NativeCodeLoader:无法为你的平台加载本地hadoop库…在适当情况下使用内置java类 我正在运行Hadoop 2.2.0。 在线进行搜索会显示以下链接:http : //balanceandbreath.blogspot.ca/2013/01/utilnativecod

  • 我目前正在运行CentOS的服务器上配置hadoop。当运行或时,会出现以下错误: 警告Util.NativeCodeLoader:无法为您的平台加载native-hadoop库...在适用的情况下使用builtin-java类 我运行的是Hadoop 2.2.0。 但是,Hadoop2.x上目录的内容似乎不同,所以我不知道该怎么办。 我还在中添加了这两个环境变量: 导出hadoop_opts=“

  • 会是什么原因呢?我不明白。 是我的输出文件。

  • 问题内容: 我正在使用docker-spark。启动后,它输出: 其环境变量是: 在CentOS上提到Hadoop“无法为您的平台加载本机Hadoop库”错误之后,我做了以下工作: (1)检查库: 是的,它是图书馆。 (2)尝试添加环境变量: 它不起作用,并报告相同的错误。 (3)尝试添加and 环境变量: 它仍然不起作用,并报告相同的错误。 有人可以提供有关此问题的一些线索吗? 问题答案: 将库

  • 我正在尝试从Spark开始。我的库中有Hadoop(3.3.1)和Spark(3.2.2)。我已经将SPARK_HOME、PATH、HADOOP_HOME和LD_LIBRARY_PATH设置为各自的路径。我还在运行JDK 17(在终端中回声和-version工作正常)。 然而,我仍然得到以下错误: 有没有办法解决这个问题?

  • 我在用Docker-Spark。启动后,它输出: 这个的环境变量是: 它仍然不能工作,并报告相同的错误。 有人能给出一些关于这个问题的线索吗?