Apache Nifi ExecuteSQL处理器
我正在尝试使用ExecuteSQL处理器从oracle数据库中提取数据。我有一些查询，例如假设在我的oracle数据库中有15条记录。在这里，当我运行ExecuteSQL处理器时，它将作为一个流进程连续运行，并将整个记录作为一个文件存储在HDFS中，并且重复这样做。因此，在HDFS位置中会有许多文件，这些文件将从oracle db中提取已经提取的记录，并且这些文件包含相同的数据。我如何使该处理器以这样的方式运行，它必须从oracle中提取所有数据db一次并作为一个文件存储，当任何新的记录插入到db中时，它必须将这些记录吸收到hdfs位置？
共有1个答案
看看QueryDatabaseTable处理器：
https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.standard.QueryDatabaseTable/index.html
您需要告诉这个处理器一个或多个用来跟踪新记录的列，这是最大值列属性。如果您的表有一个唯一的id列，您可以使用它，并且每次运行时，它都将跟踪看到的最后一个id，并在下一次执行时从那里开始。
-
数据解析为模型后，下面的任务就是交给处理器做处理。 当然你也可以不编写处理器，使用内置的处理器。 示例 实现Yurun\Crawler\Module\Processor\Contract\IProcessor接口 <?php namespace Yurun\CrawlerApp\Module\YurunBlog\Article; use Imi\App; use Imi\Log\Log; use
-
我正在尝试使用多个处理器类在处理器步骤中处理记录。这些类可以并行工作。目前我已经编写了一个多线程步骤，其中我 设置处理器类的输入和输出行 提交给遗嘱执行人服务 获取所有未来对象并收集最终输出
-
我在表中总共有8条记录，其中6条在spring批处理调用read时可以使用jpareader。现在我将页面大小和块大小设置为1以进行测试。期望作业运行时，它应该进行6次读取调用，然后它应该逐个处理，逐个写入。但实际上发生的是，它只是调用read 4次（从日志中我可以看到这样读取页面0...1）并处理4个，其中一个由于不匹配写入标准而被过滤掉，然后它只是更新了3个记录，作业标记为成功完成。
-
我正在尝试使用制作多模块项目。您可以通过链接查看我的代码。在分支是工作解决方案，其中所有匕首类都在模块中。 现在，我正在尝试为DI根创建单独的< code>app模块。您可以在< code>develop分支中看到最新的尝试。它不起作用。我想在< code>app模块中创建我的根< code > application component 组件，并从其他模块添加< code > presentat
-
当我使用Spring批处理管理运行长时间运行的批处理作业的多个实例时，它会在达到jobLauncher线程池任务执行程序池大小后阻止其他作业运行。但是从cron中提取多个工作似乎效果不错。下面是作业启动器配置。 Spring批处理管理员Restful API是否使用不同于xml配置中指定的作业启动器？
-
我对Spring批处理跳过逻辑有一些问题。我已经配置了一个作业的步骤来跳过两个异常（SQLIntegrityConstraintViolation异常和乐观锁定失败异常）： 但当作业运行时，由于我将其配置为跳过的异常，作业以未知状态完成： 我做错什么了吗？我希望这一步跳过负责抛出其中一个异常的项，并继续处理，以便以完成状态结束。
-
在 webpack 中，所有的预处理器需要匹配对应的 loader。vue-loader 允许你使用其它 webpack loader 处理 Vue 组件的某一部分。它会根据 lang 属性自动推断出要使用的 loader。 CSS 例如，使用 Sass 编译我们的 <style> 语言块： npm install sass-loader node-sass --save-dev <style
-
得益于 vue-loader, 我们可以通过 lang 属性在组件中的<template>， <script> 或 <style> 上使用各种预处理器。 举个例子，我们在 pages/index.vue 组件中使用 Pug， CoffeeScript 和 Sass： <template lang="pug"> h1.red Hello {{ name }}! </template> <scr