在Hadoop中转储配置时获得ClassNotFindException

Question

我正在尝试“hadoop in Action”书中的一个简单程序，将本地文件系统中的一系列文件合并到hdfs中的一个文件中。代码片段与书中提供的相同。

import java.lang.*;
import java.util.*;
import java.io.*;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.Path;

public class PutMerge {

    public static void main(String[] args) throws IOException{
        Configuration conf = new Configuration();
        FileSystem hdfs = FileSystem.get(conf);
        FileSystem local = FileSystem.getLocal(conf);

        Path inputDir = new Path(args[0]); // First argument has the input directory 
        Path hdfsFile = new Path(args[1]); // Concatenated hdfs file name

        try {
            FileStatus[] inputFiles = local.listStatus(inputDir); // list of Local Files

            FSDataOutputStream out = hdfs.create(hdfsFile); // target file creation

            for (int i = 0; i<inputFiles.size; i++ {

                FSDataInputStream in = local.open(inputFiles[i].getPath());

                int bytesRead = 0;
                byte[] buff = new byte[256];

                while (bytesRead = (in.read(buff))>0) {
                    out.write(buff,0,bytesRead);
                }
                in.close();
            }
            out.close();

        } 
        catch(Exception e) {
            e.printStackTrace();
        }

    }
}

程序已成功编译，在尝试运行时出现以下异常

线程“main”java中出现异常。lang.NoClassDefFoundError：org/apache/commons/configuration/configuration at org。阿帕奇。hadoop。metrics2.lib。DefaultMetricsSystem。（DefaultMetricsSystem.java:37）位于org。阿帕奇。hadoop。metrics2.lib。DefaultMetricsSystem。（DefaultMetricsSystem.java:34）位于org。阿帕奇。hadoop。安全UGI仪器。在org上创建（ugieinstrumentation.java:51）。阿帕奇。hadoop。安全用户组信息。在组织中初始化（UserGroupInformation.java:217）。阿帕奇。hadoop。安全用户组信息。确保在org上重新初始化（UserGroupInformation.java:185）。阿帕奇。hadoop。安全用户组信息。isSecurityEnabled（UserGroupInformation.java:237）位于org。阿帕奇。hadoop。安全KerberosName。（KerberosName.java:79）位于org。阿帕奇。hadoop。安全用户组信息。在org上初始化（UserGroupInformation.java:210）。阿帕奇。hadoop。安全用户组信息。确保在org上重新初始化（UserGroupInformation.java:185）。阿帕奇。hadoop。安全用户组信息。isSecurityEnabled（UserGroupInformation.java:237）位于org。阿帕奇。hadoop。安全用户组信息。位于org的getLoginUser（UserGroupInformation.java:482）。阿帕奇。hadoop。安全用户组信息。组织上的getCurrentUser（UserGroupInformation.java:468）。阿帕奇。hadoop。fs。文件系统$缓存$密钥。（FileSystem.java:1519）位于org。阿帕奇。hadoop。fs。文件系统$缓存。get（FileSystem.java:1420）位于org。阿帕奇。hadoop。fs。文件系统。在org上获取（FileSystem.java:254）。阿帕奇。hadoop。fs。文件系统。在PutMerge获取（FileSystem.java:123）。main（PutMerge.java:16）由：java引起。lang.ClassNotFoundException：组织。阿帕奇。平民配置java的配置。网URLClassLoader 1美元。在java上运行（URLClassLoader.java:366）。网URLClassLoader 1美元。在java上运行（URLClassLoader.java:355）。安全AccessController。java上的doPrivileged（本机方法）。网URLClassLoader。java上的findClass（URLClassLoader.java:354）。lang.ClassLoader。sun的loadClass（ClassLoader.java:423）。杂项。启动器$AppClassLoader。java上的loadClass（Launcher.java:308）。lang.ClassLoader。loadClass（ClassLoader.java:356）。。。17个以上

根据一些帖子的输入，我添加了Commons包。我的类路径定义是

/usr/java/jdk1.7.0_21:/data/commons-logging-1.1.2/commons-logging-1.1.2.jar:/data/hadoop-1.1.2/hadoop-core-1.1.2.jar:/data/commons-logging-1.1.2/commons-logging-adapters-1.1.2.jar:/data/commons-logging-1.1.2/commons-logging-api-1.1.2.jar:.

有什么线索说明为什么这不起作用吗？

Answer 1

您没有在类路径中包含apache配置。

实际上，除了hadoop本身之外，您不需要包含太多内容。确保您正在使用hadoop本身运行jar。

<代码>