Windows上的Hadoop安装：无法为您的平台加载本机Hadoop库...在适用的情况下使用builtin-java类

Question

我无法为您的平台加载本地Hadoop库...在我的Windows10上尝试安装hadoop 2.8.3版本时，使用builtin-java类时出现了错误。

我在hadoop-env.cmd文件中设置了以下环境变量：set hadoop_opts=%hadoop_opts%-djava.library.path=%hadoop_home%/lib/native

此外，我还添加了以下配置

纱位。xml

<configuration>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/F:/tools/hadoop-2.8.3/data/namenode</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
       <value>/F:/tools/hadoop-2.8.3/data/datanode</value>
   </property>
</configuration>

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

I have renamed mapred-site.xml.template file to mapred-site.xml

我被困在这个装置里很久了。请帮忙。

Answer 1

我在Windows10上使用Hadoop2.9.1时也面临同样的问题。我能够格式化namenode，但无法启动-dfs。

按照building.txt的建议，我使用visual studio 2017 community,mvn等在windows平台开发主机（包括Winutils.exe和Hadoop.dll）中正确地构建了源代码，但当我试图在干净的windows 10安装中运行时，我在启动dfs节点时遇到了无法加载本机hadoop-library错误。

我运行winutils.exe并给出一个错误：

另外，这是使用hadoop checknative命令得到的结果：

C:\apache\hadoop\bin>hadoop checknative
18/09/08 18:23:35警告bzip2.bzip2factory:未能加载/初始化native-bzip2库系统-本机，将使用纯Java版本
18/09/08 18:23:35警告zlib.zlibfactory:未能加载/初始化native-zlib库
winutils.exe
本机库检查:
hadoop:true C:\apache\hadoop\bin\winutils.dll
zlib:false
snappy:false R>LZ4:true修订:10301
BZIP2:false
OpenSSL:false构建不支持OpenSSL。Winutils:true C:\Apache\Hadoop\bin\Winutils.exe