从Oracle问题获取数据的Nifi

Question

我有一个从甲骨文获取数据并上传到谷歌云存储的需求。

我正在使用executeSql proecssor，但是对于大表来说它是失败的，甚至对于有大约45MB大小的100万条记录的表来说，它需要花费2小时来提取。

使用restapi将表名传递给listenHttp，Listenhtp将表名传递给ExecutesQL。我不能使用QueryDatabase，因为表的数量是动态的，启动获取的调用也是动态的，使用UI和Nifi Restui。

请建议ExecuteSql处理器中的任何调优参数。

Answer 1

我相信您是在谈论拥有较小的流文件的能力，并可能在处理器仍在处理（大的）结果集时将它们发送到下游。对于QueryDatabaseTable来说，NIFI1.6.0（通过NIFI-4836)中添加了这个功能，在即将发布的版本(NIFI1.8.0通过NIFI-1251)中，ExecuteSQL也可以使用这个功能。

您应该能够使用GenerateTableFetch来做您想做的事情。在这里，您可以设置分区大小（最终是每个流文件的行数），如果您希望在每次流文件进来时获取整个表，则不需要最大值列（这也允许您像您所描述的那样处理多个表）。GenerateTableFetch将生成SQL语句来从表中获取“页”数据，这将为您在非常大的表上提供更好的增量性能。