加载时出错。Pig脚本中的gz文件

Question

我在HDFS中有大量. gz文件，我正在尝试使用PigStorage加载它们来处理数据，我得到了以下异常

Java语言io。EOFException：组织的输入流意外结束。阿帕奇。hadoop。io。压紧解压缩流。在org上解压缩（DecompressorStream.java:137）。阿帕奇。hadoop。io。压紧解压缩流。在java上读取（DecompressorStream.java:77）。io。输入流。在org上读取（InputStream.java:85）。阿帕奇。hadoop。util。LineReader。org上的readDefaultLine（LineReader.java:205）。阿帕奇。hadoop。util。LineReader。org上的readLine（LineReader.java:169）。阿帕奇。hadoop。mapreduce。lib。输入LineRecordReader。org上的nextKeyValue（LineRecordReader.java:139）。阿帕奇。猪内置。文本加载器。org上的getNext（TextLoader.java:55）。阿帕奇。猪后端。hadoop。executionengine。mapReduceLayer。PigRecordReader。nextKeyValue（PigRecordReader.java:194）位于org。阿帕奇。hadoop。映射。MapTask$NewTrackingRecordReader。org上的nextKeyValue（MapTask.java:530）。阿帕奇。hadoop。mapreduce。MapContext。org上的nextKeyValue（MapContext.java:67）。阿帕奇。hadoop。mapreduce。映射器。在org上运行（Mapper.java:144）。阿帕奇。hadoop。映射。MapTask。在org上运行NewMapper（MapTask.java:763）。阿帕奇。hadoop。映射。MapTask。在组织上运行（MapTask.java:363）。阿帕奇。hadoop。映射。儿童4美元。在java上运行（Child.java:255）。安全AccessController。javax上的doPrivileged（本机方法）。安全授权。主题doAs（Subject.java:396）位于org。阿帕奇。hadoop。安全用户组信息。doAs（UserGroupInformation.java:1232）位于org。阿帕奇。hadoop。映射。小孩main（Child.java:249）

这可能是某些文件损坏的结果。

pig是否有任何类型的错误处理，我可以使用它跳过已损坏的文件。以下是我正在使用的示例代码：

cal  = load '$inputdir/CAL/*/*/*/*/*/*/*.gz' USING PigStorage('\t');

Answer 1

它可能与损坏的文件有关。

您可以使用映射。最大映射。失败。百分比设置（或映射最大减少故障百分比，但这与您的情况无关），以控制可以忽略的故障百分比。

问题是单个映射器可以读取多个gz文件，因此无法通过映射器的损坏文件也可以跳过正常的文件。