当前位置: 首页 > 面试题库 >

Logstash Elasticsearch输入-仅运行一次?

伯鸿达
2023-03-14
问题内容

我正在尝试将一小部分数据从索引A复制到索引B。

我有一个在EC2实例上运行的Logstash配置,其中包含Elasticsearch输入,一些过滤器和Elasticsearch输出。

首次运行时,此方法运行良好,但如果将任何新数据添加到索引A(满足输入的查询条件),则Logstash配置不会检测到该数据并将其输出到索引B。

这让我想,Elasticsearch输入是否仅运行一次?与文件或S3输入之类的输入不同,它们将获取新添加的文件。


问题答案:

Logstash html" target="_blank">elasticsearch输入插件使用可选查询进行一次搜索(通过扫描/滚动),并在完成后退出。

您说对了,因为它的行为方式与for file输入插件不同,后者只会拖尾一个或多个文件并动态处理新行。

如果您需要一种在新文档与查询匹配时得到通知的方式,则可能需要调查Watcher插件。观察者可以很好地检测到与查询匹配的新文档的存在,然后调用一个Webhook,这可以通过Logstash中的http输入插件实现。



 类似资料:
  • 问题内容: 如果我有一些代码,例如 并且输入文件包含成对的行,我该如何做,以便仅导入每行的第一行?因此,换句话说,每条奇数行都只有?谢谢 问题答案: 您可能想考虑使用来简化奇数行()的过滤。或者在另一种方法中,如果您使用的是JDK7,则可以使用该方法,并在迭代时再次过滤奇数。

  • 问题内容: 开发机是Mac。我在从CSV导入多个行到Mysql时遇到了一些麻烦。这是我的SQL语句: 它运行良好,但仅导入了一条记录。知道我哪里出错了吗? 问题答案: 检查行尾: 但最常见的问题是,行终止符不是您期望的,请尝试:

  • 问题内容: 是否可以在确切指定的时间仅安排一次Spring服务方法?例如,当前时间是下午2点,但是当我按下操作按钮时,我希望我的服务方法从晚上8点开始。我熟悉@Scheduled批注,但不确定如何编写cron表达式以使其不定期运行。这一次,每天晚上8点触发。 有什么建议? 问题答案: 您可以使用Spring的TaskScheduler的实现之一。我在下面提供了一个示例,该示例不需要太多配置(包装了

  • 问题内容: 是否可以在确切指定的时间仅安排一次Spring服务方法?例如,当前时间是下午2点,但是当我按下操作按钮时,我希望我的服务方法从晚上8点开始。我熟悉@Scheduled批注,并且不确定如何编写cron表达式以使其不定期运行。这一次,每天晚上8点触发。 有什么建议么? 问题答案: 你可以使用Spring的TaskScheduler的实现之一。我在下面提供了一个示例,该示例不需要太多的配置(

  • 我正在使用mysql存储过程,我花了两个小时试图弄清楚为什么这个游标只运行一次。(我假设它只运行了一次,因为我运行这个存储过程后只看到一条记录——最后有一个命令,我从前面创建的临时表中选择了所有内容) 注意,我已经尝试过在游标中单独运行查询,它运行正常(返回了多条记录,这是应该的)。 我认为这一定与我从循环中插入数据有关(我希望在每个循环过程中向临时表中插入一行数据)。

  • 问题内容: 使用node.js时,我希望以每次仅运行10个(或n个)的方式访问多个远程URL。 如果本地发生异常(m次),我也想重试一个请求,但是当状态代码返回错误(5XX,4XX等)时,该请求将视为有效。 这对我来说真的很难缠住我的头。 问题: 无法尝试捕获http.get,因为它是异步的。 需要一种在失败时重试请求的方法。 我需要某种信号量来跟踪当前活动的请求计数。 当所有请求完成时,我想在列