如何将数据从大型机拉到Hadoop

Question

我在主机里有文件。我希望将这些数据推送到Hadoop(HDFS)/hive。

我可以将Sqoop用于大型机DB2数据库，并将其导入配置单元，但对于文件（如COBOL、VASM等）呢

Answer 1

COBOL是一种编程语言，而不是一种文件格式。如果您需要导出由COBOL程序生成的文件，您可以使用与这些文件由C、C++、Java、Perl、PL/I、Rexx等生成相同的技术。

通常，您将有三种不同的数据源：平面文件、VSAM文件和DBMS（如DB2或IMS）。

DMBSs有导出实用工具将数据复制到平面文件中。请记住，DB2中的数据很可能是规范化的，因此您可能需要相关表的内容才能理解这些数据。

VSAM文件可以通过IDCAMS实用工具导出到平面文件。

我强烈建议您先将文件转换成文本格式，然后再将它们转移到另一个带有不同代码页的框中。试图处理混合文本（必须转换其代码页）和二进制文件（必须不转换其代码页，但可能必须从大endpoint转换为小endpoint）比预先进行转换更难。

转换可能通过大型机上的SORT实用程序完成。大型机排序实用程序往往具有广泛的数据操作功能。您可以使用其他机制（其他实用工具、用您选择的语言编写的html" target="_blank">自定义代码、购买的包），但在这些情况下，我们倾向于这样做。

这并不是该主题的详尽报道，但它将使您开始。