使用级联框架运行hadoop程序时获取cascading.tap.hadoop.io.MultiInputSplit类未找到异常

Question

这里是我的代码，它连接到hadoop机器，执行一组验证，并在另一个目录上编写。

      public class Main{

            public static void main(String...strings){

        System.setProperty("HADOOP_USER_NAME", "root");
        String in1 = "hdfs://myserver/user/root/adnan/inputfile.txt";
        String out = "hdfs://myserver/user/root/cascading/temp2";

        Properties properties = new Properties();
        AppProps.setApplicationJarClass(properties, Main.class);
        HadoopFlowConnector flowConnector = new HadoopFlowConnector(properties);

        Tap inTap = new Hfs(new TextDelimited(true, ","), in1);
        Tap outTap = new Hfs(new TextDelimited(true, ","), out);

        Pipe inPipe = new Pipe("in1");  

        Each removeErrors = new Each(inPipe, Fields.ALL, new BigFilter());
        GroupBy group = new GroupBy(removeErrors, getGroupByFields(fieldCols));
        Every mergeGroup = new Every(group, Fields.ALL, new MergeGroupAggregator(fieldCols), Fields.RESULTS);

        FlowDef flowDef = FlowDef.flowDef()
                .addSource(inPipe, inTap)
                .addTailSink(mergeGroup, outTap);

        flowConnector.connect(flowDef).complete();

}

Cascading.tap.hadoop.io.MultiInputSplit在org.apache.hadoop.mapred.maptask.getSplitDetails（maptask.java:348)在org.apache.hadoop.mapred.maptask.runoldMapper（maptask.java:389)在org.apache.hadoop.mapred.maptask.run(maptask.java:333)在org.apache.hadoop.mapred.child$4。run(child.java:268)在

java.lang.ClassNotFoundException：在org.apache.hadoop.conf.Configuration.GetClassByName（Configuration.java:1493)中找不到类Cascading.tap.hadoop.io.MultiInputSplit

注意：1。我是从我的windows机器上运行的，而hadoop是在不同的盒子上设置的。2.我使用的是cloudera发行版的hadoop，也就是CDH4。

Answer 1

您的属性文件为空，因此集群上的此作业配置可能关闭。必须为HadoopflowController提供正在使用的配置。在调用new Configuration时发现的Hadoop配置文件中包含的信息属于properties对象-例如fs.default.name=file:///等。我想当您通过“线”运行级联作业时，情况就更糟了。