使用级联框架运行hadoop程序时，获取cascading.tap.hadoop.io.MultiInputSplit类未发现异常

Question

这是我的代码，它连接到hadoop机器并执行一组验证并写在另一个目录上。

      public class Main{

            public static void main(String...strings){

        System.setProperty("HADOOP_USER_NAME", "root");
        String in1 = "hdfs://myserver/user/root/adnan/inputfile.txt";
        String out = "hdfs://myserver/user/root/cascading/temp2";

        Properties properties = new Properties();
        AppProps.setApplicationJarClass(properties, Main.class);
        HadoopFlowConnector flowConnector = new HadoopFlowConnector(properties);

        Tap inTap = new Hfs(new TextDelimited(true, ","), in1);
        Tap outTap = new Hfs(new TextDelimited(true, ","), out);

        Pipe inPipe = new Pipe("in1");

        Each removeErrors = new Each(inPipe, Fields.ALL, new BigFilter());
        GroupBy group = new GroupBy(removeErrors, getGroupByFields(fieldCols));
        Every mergeGroup = new Every(group, Fields.ALL, new MergeGroupAggregator(fieldCols), Fields.RESULTS);

        FlowDef flowDef = FlowDef.flowDef()
                .addSource(inPipe, inTap)
                .addTailSink(mergeGroup, outTap);

        flowConnector.connect(flowDef).complete();

}

我的工作正在提交给hadoop机器。我可以在作业追踪器上查看此信息。但是工作失败了，下面出现了异常。

在org.apache.hadoop.mapred.MapTask.runOldMapper（MapTask.java:389）的org.apache.hadoop.mapred.MapTask.getSplitDetails（MapTask.java:348）处找不到cascading.tap.hadoop.io.MultiInputSplit
org.apache.hadoop.mapred.Child $
4.run（Child.java:268）的org.apache.hadoop.mapred.MapTask.run（MapTask.java:333）（java.security.AccessController.doPrivileged（本机方法）在org.apache.hadoop.mapred.Child.main（Child）处的org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1408）处的javax.security.auth.Subject.doAs（Subject.java:415）
.java：262）由以下原因引起：java.lang.ClassNotFoundException：在org.apache的org.apache.hadoop.conf.Configuration.getClassByName（Configuration.java:1493）上找不到cascading.tap.hadoop.io.MultiInputSplit类。
hadoop.mapred.MapTask.getSplitDetails（MapTask.java:346）…另外7个

java.lang.ClassNotFoundException：在org.apache.hadoop.conf.Configuration.getClassByName（Configuration.java:1493）上找不到cascading.tap.hadoop.io.MultiInputSplit类

请注意：1.我正在Windows计算机上运行此程序，并且hadoop已在其他盒子上设置。2.我正在将cloudera分发用于CDH 4的hadoop。

Answer 1

得到了问题。CDH 4.2的级联2.1存在问题。因此更改为CDH 4.1，它对我有用。