当前位置: 首页 > 知识库问答 >
问题:

未找到Split类org.apache.hadoop.hive.ql.io.orc.orcsplit

郤望
2023-03-14

我正在尝试使用orc作为hadoop流的inputformat

下面是我的运行方式

export HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/hive/lib/hive-exec.jar
hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-streaming.jar \
    -file /home/mr/mapper.py -mapper /home/mr/mapper.py \
    -file /home/mr/reducer.py -reducer /home/mr/reducer.py \
    -input /user/cloudera/input/users/orc \
    -output /user/cloudera/output/simple \
    -inputformat org.apache.hadoop.hive.ql.io.orc.OrcInputFormat \

错误:java.io.ioException:拆分类org.apache.hadoop.hive.ql.io.orc.orcsplit在org.apache.hadoop.mapred.maptask.getsplitDetails(maptask.java:363)在org.apache.hadoop.mapred.maptask.runoldmapper(maptask.java:426)在org.apache.hadoop.mapred.maptask.run(maptask.java:343)在org.apache.hadoop.mapred.yarnchild

看起来OrcSplit类应该在hive-exec.jar中

共有1个答案

欧旻
2023-03-14

一个更简单的解决方案是使用-libjars参数让hadoop-streaming为您分发lib jar。这个参数采用逗号分隔的列表jars。以您为例,您可以:

hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-streaming.jar \
    -libjars /opt/cloudera/parcels/CDH/lib/hive/lib/hive-exec.jar
    -file /home/mr/mapper.py -mapper /home/mr/mapper.py \
    -file /home/mr/reducer.py -reducer /home/mr/reducer.py \
    -input /user/cloudera/input/users/orc \
    -output /user/cloudera/output/simple \
    -inputformat org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
 类似资料:
  • 我用Android Studio为Unity做了一个jar插件。我的插件使用。但找不到该类。Unity的控制台向我显示了以下错误:

  • 我不知道如何处理以下错误,我已经搜索了网络,但没有找到任何东西: 以及: 我在gradle应用程序中的依赖项:

  • 我试图从netbeans连接到sqlite,但它没有得到我的conexion类 这是我的代码: 这是我的错误: Java语言lang.NoClassDefFoundError:Petrocabimas\u app/Conexion(错误名称:Petrocabimas\u app/Conexion)。lang.ClassLoader。在java中定义Class1(本机方法)。lang.ClassLo

  • 之前,我的程序运行良好。但当我刚刚将我的Android studio更新到最新版本(2.2于2016年9月15日发布)时,我出现了以下错误。当我构建它时,它会显示:Build Successfully,但当我运行程序时会出现以下错误: E/AndroidRuntime:致命异常:主进程:com。实例androidtutorial,PID:28293 java。lang.RuntimeExcepti

  • 首先感谢你花时间来帮助我。我的名字是Matt,我一直在努力学习java,并创建mc插件。我一直在尝试为MC制作一个具有深入学习的插口插件。我正在尝试使用deeplearning4j。我知道我可以把这个问题放到spigotmc的网站上,但我不认为他们会很有帮助,因为从以前在spigotmc上的帖子来看,他们中的很多人似乎对dl4j不太了解。因此,到目前为止,我所做的是使用dl4j网站上的快速入门指南