记录读取器拆分，将固定长度转换为分隔的ASCII文件

Question

我有一个128 MB的文件，所以它被分成两个块（块大小=64 MB）。我正在尝试使用自定义记录读取器类将固定长度的文件转换为分隔的ASCII文件

Ex: 
First Split: 456   2348324534         34953489543      349583534
Second Split:
456         23           48324534             34953489543      349583534

FixedAsciiRecordReader(FileSplit genericSplit, JobConf job) throws IOException {
if ((start % recordByteLength) > 0) {
              pos = start - (start % recordByteLength) + recordByteLength;
           }
           else {
              pos = start;
           }

           fileIn.skip(pos);
}

是否也应该将任何值设置为start变量？

Answer 1

我找到了这个问题的解决方案，我在输入的固定长度文件中有一个可变长度的头，它没有被跳过，所以位置并不完全从记录的开头开始，而是从位置（startofrecord-headerlength）开始。这使得每条记录从前一条记录中读取几个字符（相当于headerlength）。

更新代码：

 if ((start % recordByteLength) > 0) {
        pos = start - (start % recordByteLength) + recordByteLength + headerLength;
    }
    else {
        pos = start;            
    }

    fileIn.skip(pos);