自定义处理器-读取数据库视图

Question

private void GetData(){
    Connection connection = DriverManager.getConnection("jdbc:postgresql://example:5432/example", "user", "pass");
    Statement statement = connection.createStatement(ResultSet.TYPE_SCROLL_INSENSITIVE, ResultSet.CONCUR_READ_ONLY);
    ResultSet rs = statement.executeQuery("SELECT * FROM Example_Table");
    while(rs.next()){
        //Get data from database
    }
    connection.close();
}

然而，我很难从数据库视图中获得最近的更新。主要问题是何时向数据库中添加新条目。由于数据库是在初始化处理器时查询的，因此自定义处理器将不会有新的条目。

我尝试在public void onTrigger（）函数中实现查询；然而，这将导致管道备份，因为它将对每个flowfile查询数据库（如果每秒有数千个flowfile传入，这就不理想了）。

处理器启动时是否有查询数据库的方法；不在每个flowfile上查询数据库？或者，是否可以检测数据库是否已被修改并在修改时提取数据？或者甚至设置一个计时器来将数据库拉入自定义处理器？

任何帮助都非常感谢，提前谢谢。

Answer 1

我认为如果您能更多地解释更高级别的用例，它可能会帮助您获得解决方案，因为这似乎是一种不常见的方法。通常每个处理器有一个单一的职责，因此一些处理器与数据库交互，然后输出必要的信息供其他处理器使用。

有一些LookupService可能是研究的好例子，例如MongodBlookupService。

如果您的用例实际上是“我有一个自定义处理器，它接收包含任意数据的流文件，并需要使用该数据库表中的最新数据对它们执行一些操作”，您有几个选项：

null