映射器无法读取gz.parquet文件
maptask：开始刷新映射输出
2017-04-20 20:53:20,101 WARN[main]org.apache.hadoop.mapred.yarnchild：异常运行子级：java.lang.nullPointerException位于org.apache.parquet.avro.avroschemaconverter.convertField（avroschemaconverter.java:294)位于org.apache.parquet.avro.avroschemaconverter.convertFields（avroschemaconverter.java:204)位于org.apache.parquet.avro.avroschemaconverter.convertFields（avroschemaconverter.java:198)位于org.apache.parquet.avro.avroschemaconverter.convertFields（avroschemaconverter.java AvroreadSupport.java:105)在org.apache.parquet.hadoop.internalParquetRecordReader.initialize(internalParquetRecordReader.java:174)在org.apache.parquet.hadoop.ParquetRecordReader.initialize(ParquetRecordReader.java:192)在org.apache.parquet.hadoop.ParquetRecordReader.initialize(ParquetRecordReader.java:140)在org.apache.hadoop.maprede.lib.input.delegatingRecordReader.initialize(delegatingRecordReader.java:84)在maptask$NewTrackingRecordReader.Initialize(maptask.java:548)，位于org.apache.hadoop.mapred.maptask.runnewmapper（maptask.java:786)在org.apache.hadoop.mapred.maptask.run（maptask.java:341)在org.apache.hadoop.mapred.yarnchild$2。run（yarnchild.java:163)在java.security.accessController.doPrivileged（本机方法）在javax.security.auth.subject.doas（subject.java:415)在org.apache.hadoop.security.usergroupinformation.doas（usergroupinformation.java:1657)在org.apache.hadoop.mapred.yarnchild.main（
我正在尝试读取mapper中的filename.gz.paquet，使用相同的mapreduce作业，我能够读取filename.snappy.parquet文件。
共有1个答案
我可以解决这个问题。我已经更新到了AVROVERSION1.8.1、ParquetVERSION1.9.0、ParquetFormatVERS2.3.1和HiveVERSION1.2.2的新JAR。
-
Hi在运行我的java类时得到以下错误：创建会话工厂失败，出现异常org.hibernate.mappingException：无法从资源中读取映射：software.hbm.xml org.hibernate.cfg.configuration.addResource（configuration.java:485)，在org.hibernate.cfg.cfiguration.parsemapp
-
问题内容： 下面的Mappers代码从HDFS读取文本文件正确吗？如果是这样的话： 如果不同节点中的两个映射器尝试几乎同时打开文件，会发生什么情况？ 是否不需要关闭？如果是这样，如何在不关闭文件系统的情况下执行此操作？ 我的代码是： 问题答案： 这将起作用，并进行一些修改-我假设您粘贴的代码被截断了： 您可以有多个映射器读取同一个文件，但是使用分布式缓存存在更多的局限性（不仅减少了承载文件块的数据
-
问题内容： 我是一个非常新的反应者，我正在尝试从Rails api导入数据，但出现错误 如果我使用react dev工具，则可以在控制台中看到状态，也可以看到联系人，方法是使用有人可以帮忙解决我做错的事情吗？我的组件看起来像这样： 问题答案： 无法读取未定义的属性“ map”，为什么？ 因为最初是，并且of 将是 不确定的 。重要的一点是， componentDidMount 将在初始渲染后被调用
-
问题内容： 似乎mmap接口仅支持readline（）。如果我尝试遍历对象，则会得到字符而不是完整的行。 逐行读取mmap文件的“ pythonic”方法是什么？ 问题答案： 遍历an行的最简洁方法是 请注意，在Python 3的前哨参数必须是类型的，而在Python 2它需要一个（即，而不是）。
-
因此，我得到了一个庞大的JSON文件，我需要从中提取数据。JSON格式如下所示： 为了阅读它，我试图创建一个类来映射键和对象。类似这样的东西，类似于这个问题： 但是我被数组卡住了，它包含了更多的对象，而不仅仅是简单的基本数据类型。 JSON文件很大，并且在其中到处都有类似类型的项。我对此相当陌生，可能会犯一些错误。任何朝着正确方向的帮助都是感激的。谢了！
-
我在组织上有InvalidMappingException。冬眠cfg公司。配置configure（）方法调用。 堆栈跟踪： 配置文件：hibernate.cfg.xml 映射文件：用户。hbm。xml 所以任何人都可以告诉我哪里出了错？谢谢 UPD：项目结构。 嗯。我没有找到解决办法，但是注释帮助了我。