无法连接hadoop

Question

连接到hadoop时，出现以下错误

线程“main”java.lang.AbstractMethodError中出现异常：org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider。getProxy（）Lorg/apache/hadoop/io/retry/failoverproxy提供程序$ProxyInfo；位于org.apache.hadoop.io.retry.RetryInvocationHandler.java:73）位于org.apache.hadoop.io.retry.RetryInvocationHandler.RetryInvocationHandler.java:64）位于org.apache.hadoop.io.retry.RetryProxy.create（RetryProxy.java:58）位于org.apache.hadoop.hdfs.NameNodeProxies.createProxy（NameNodeProxies.java:147）位于org.apache.hadoop.hdfs.dfscient。（dfscient.java:510）位于DFSClient。（DFSClient.java:453）在org.apache.hadoop.hdfs.DistributedFileSystem.initialize（DistributedFileSystem.java:136）在org.apache.hadoop.fs.FileSystem.createFileSystem（FileSystem.java:2653）在org.apache.hadoop.fs.FileSystem.access$200（FileSystem.java:92）在org.apache.hadoop.fs.FileSystem$Cache.getInternal（FileSystem.java:2687）在org.apache.hadoop.fs.FileSystem$Cache.get（FileSystem.java:2669）位于org.apache.hadoop.fs.FileSystem.get（FileSystem.java:371）位于org.apache.hadoop.fs.FileSystem.get（FileSystem.java:170）位于hrumen.HTest.main（HTest.java:26）

以下是我的代码：

***Path corepath = new Path("/var/tmp/hactive/core-site.xml");
        Path sitepath = new Path("/var/tmp/hactive/hdfs-site.xml");
        Path yarnpath = new Path("/var/tmp/hactive/yarn-site.xml");
        Path mapredpath = new Path("/var/tmp/hactive/mapred-site.xml");

        Configuration hconf = new Configuration();
        hconf.addResource(corepath);
        hconf.addResource(sitepath);
        hconf.addResource(yarnpath);
        hconf.addResource(mapredpath);

        try{
            DFSAdmin dfadmin = new DFSAdmin(hconf);
            dfadmin.report();

        }
        catch(Exception e){
            //System.out.println("[Exception]: "+e);
            e.printStackTrace();
        }***

这里是hdfs-site.xml的一部分

...
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
        <final>true</final>

    </property>
....

    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

在core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
</property>

....

Answer 1

我在尝试运行我的应用程序（在Hortonworks中）时遇到了同样的问题。在被卡住后-这需要一段时间，因此添加此处以供将来参考-以下内容修复了该问题。

要么添加到pom。xml（注意：版本可能会有所不同，请相应设置）：

<dependency>
   <groupId>org.apache.hadoop</groupId>
   <artifactId>hadoop-hdfs</artifactId>
   <version>2.8.1</version>
</dependency>

或添加：

/path/to/hadoop-hdfs-client-<version_number>.jar

到类路径，以便在运行时包含hadoop hdfs客户端jar。