在eclipse中为2.4.1 hadoop映射Reduce客户端JAR

Question

当我在shell中的hadoop文件夹中运行我的Hadoop mapreduce word count JAR时,它正在正常运行并且正确生成输出,

由于我在Hadoop 2.4.1的情况下使用了Yarn，所以当我从eclipse运行MapReduce示例程序时，MAP进程已完成，但在reduce进程中失败。

很明显，问题出在jar配置上。

请找到罐子，我已经加了...

这是我的错误

信息：减少任务执行者完成。Nov 21 2014年8:50:35 PM org.apache.hadoop.mapred.localjobrunner$job run警告:job_local1638918104_0001 java.lang.exception：java.lang.nosuchmethoder错误：org.apache.hadoop.mapred.reducetask.setlocalmapfiles（ljava/util/map；）V在org.apache.hadoop.mapred.localjobrunner$job.runtasks（localjobrunner.java:462)在）

线程“Thread-12”java.lang.noClassDeffounder中的异常错误：org/apache/commons/httpclient/httpmethod在org.apache.hadoop.mapred.localjobrunner$job.run(localjobrunner.java:562)由：java.lang.classnotfoundexception：org.apache.commons.httpclient.httpmethod在java.net.urlClassLoader$1运行(urlClassLoader.java:366)在java.net.urlClassLoader$1运行

Answer 1

根据屏幕截图，您正在手动将所有依赖的JAR添加到类路径中。强烈建议使用maven来实现这一点，这将使向类路径添加依赖JAR的过程自动化。我们只需要添加主要的依赖JAR。
我在pom.xml中使用了以下依赖项，这帮助我运行起来没有任何问题。

<properties>
    <hadoop.version>2.5.2</hadoop.version>
</properties>

<dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-yarn-api</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-yarn-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-auth</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-yarn-server-nodemanager</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-yarn-server-resourcemanager</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
    </dependencies>  

对于您的问题，我检查了类路径，正好有82个可用的jar文件。
像这样查找每个jar将是一项繁琐的工作。
您可以在这里添加函数式的jar。
其他的解决方法是，将安装的hadoop目录路径中的所有jar文件添加为 /share/hadoop/ 并从所有的lib文件夹中添加所有jar。这是你能做的最好的事情..或者
只添加avro特定的JAR，因为根据屏幕截图，avro类抛出的异常。这可以解决avro jars问题。但您可能会面临其他依赖关系问题。我在使用HadoopV1时也面临同样的问题。所以后来我意识到并使用Maven和HadoopV2。因此不必担心依赖JAR。
您的重点将放在Hadoop和业务需求上。:)
希望对您有帮助..