NIFI-QueryDatabaseTable处理器。如何查询被修改的行？

Question

我正在研究NIFI数据流，我的用途是获取mysql表数据并将其放入HDFS/本地文件系统。

我已经构建了一个数据流管道，在这里我使用了querydatabaseTable处理器------ConvertRecord----PutFile处理器。

我的表模式-->id、name、city、Created_date

我的问题是，如何处理这种情况？任何其他处理器或需要更新某些属性。

Answer 1

需要通知QueryDatabaseTable处理器可以使用哪些列来标识新数据。

串行ID或创建时间戳是不够的。

从文档中：

最大值列：

以逗号分隔的列名列表。处理器将跟踪自处理器开始运行以来返回的每个列的最大值。使用多列意味着列列表的顺序，每个列的值的增长速度应该比前面的列慢。因此，使用多列意味着列的分层结构，通常用于分区表。此处理器只能用于检索自上次检索以来添加/更新的行。请注意，某些JDBC类型（如bit/boolean）不利于维护最大值，因此这些类型的列不应在此属性中列出，这将在处理过程中导致错误。如果不提供列，则将考虑表中的所有行，这可能会对性能产生影响。注意：对于给定的表，使用一致的max-value列名是很重要的，这样增量提取才能正常工作。

| stamp_updated | timestamp | CURRENT_TIMESTAMP   | on update CURRENT_TIMESTAMP |

所以我基本上要说的是：

如果您自己不能判断这是sql中的新记录，nifi也不能。