在Apache Beam中将EBCDIC转换为ASCII

Question

我正在尝试使用Apache Beam中JRecord中的CobolIoProvider类将EBCDIC文件转换为ASCII。

我正在使用的代码：

CobolIoProvider ioProvider = CobolIoProvider.getInstance();
AbstractLineReader reader  = ioProvider.getLineReader(Constants.IO_FIXED_LENGTH, Convert.FMT_MAINFRAME,CopybookLoader.SPLIT_NONE, copybookname, cobolfilename);

代码根据需要读取和转换文件。我只能从本地系统读取cobolfilename和copybookname，它们基本上分别是EBCDIC文件和copybook的路径。但是，当我试图从GCS读取文件时，它失败了，FileNotFoundException--“文件名、目录名或卷标语法不正确”。

是否有使用CobolIoProvider类从GCS读取Cobol文件（EBCDIC）的方法？

如果没有，是否有其他类可以将Cobol文件（EBCDIC）转换为ASCII，并允许从GCS读取这些文件。

我正在使用的代码：

ICobolIOBuilder iob = JRecordInterface1.COBOL.newIOBuilder("copybook.cbl")
                                    .setFileOrganization(Constants.IO_FIXED_LENGTH)
                      .setSplitCopybook(CopybookLoader.SPLIT_NONE);

AbstractLineReader reader = iob.newReader(bs); //bs is an InputStream html" target="_blank">object of my Cobol file

然而，这里有几个问题：-

1）我必须在本地保存我的copybook.cbl。有没有办法从GCS读取copybook文件。我尝试了下面的代码，试图从GCS读取copybook到Stream，并将Stream传递给LoadCopyBook（）。但是代码不起作用。

下面的示例代码：

InputStream  bs2 = new ByteArrayInputStream(copybookfile.toString().getBytes());
LayoutDetail schema = new CobolCopybookLoader()
                     .loadCopyBook(   bs, " copybook.cbl",
                         CopybookLoader.SPLIT_NONE, 0, "",
                         Constants.USE_STANDARD_COLUMNS,
                         Convert.FMT_INTEL, 0, new TextLog())
                           .asLayoutDetail();

AbstractLineReader reader = LineIOProvider.getInstance().getLineReader(schema);

reader.open(inputStream, schema);

2）使用newReader从流中读取EBCDIC文件并没有将我的文件转换为ASCII。

谢了。

Answer 1

在新类型的基于文件的源中使用beam/dataflow的最简单方法是首先使用fileio获取pcollection ，然后使用dofn读取该文件。这将需要实现从给定通道读取的代码。类似以下内容：

Pipeline p = ...
p.apply(FileIO.match().filepattern("..."))
 .apply(FileIO.readMatches(...))
 .apply(new DoFn<ReadableFile, String>() {
   @ProcessElement
   public void processElement(ProcessContext c) {
     try (ReadableByteChannel channel = c.element().open()) {
       // Use CobolIO to read from the byte channel
     }
   });