从大型机EBCDIC文件读取页眉和页脚

Question

有一些可以读取EDCDIC文件的解决方案，比如-https://github.com/rbheemana/cobol-to-hive，但是当EDCDIC文件包含偏移长度不相等的行时，这种方法就失败了。

我编写了MapReduce作业来读取EBCDIC文件，并通过读取基于偏移量值的每一行来转换为CSV/Parquet，因此所有行的长度都是固定的，下面是示例代码

Configuration conf = new Configuration();
conf.setInt(FixedLengthInputFormat.FIXED_RECORD_LENGTH, 100);
Job job = Job.getInstance(conf);
job.setInputFormatClass(FixedLengthInputFormat.class);

当输入的EBCDIC文件不能被偏移量（记录）长度整除时，这也会失败。

有什么方法可以读取和转换带有页眉和页脚的EBCDIC文件到ASCII文件吗？

Answer 1

我不太了解hadoop，我推测该文件来自IBM大型机（Z-OS）。同时查看https://github.com/rbheemana/cobol-to-hive，它似乎可以处理VB文件，所以应该有一种方法。

如果文件是大型机上的VB文件，则每个记录都将有一个记录描述符字(RDW)。默认情况下，一些文件传输函数会删除RDW。您可能需要RDW。JRecord当然可以使用它

可能的解决办法包括：

• 在传输之前将文件转换为主机上的固定宽度/AS400-非常容易。
• 在大型机上提取页眉/页脚详细信息-非常容易
• 使用JRecord提取页眉/页脚或转换为固定宽度-非常简单
• 看看project CopybookInputFormat它是基于JRecord的，它可能工作得更好。它应该有更好的Cobol支持。
• 使用JRecord读取文件（需要执行自己的代码才能加载到hadoop中）。