将MongoDB与ElasticSearch同步

Question

我想将MongoDB数据同步到ElasticSearch，我读了很多关于Elasticsearch
River插件和mongo连接器的文章，但是不推荐使用mongo 4和elasticsearch 7！

作为logstash专有软件，我想使用它来同步两者…任何人都知道如何做到这一点？

Answer 1

您可以将MongoDB和Elasticsearch与Logstash同步；实际上，同步是Logstash的主要应用之一。安装Logstash之后，您要做的就是为您的用例指定一个 管道
：将一个或多个输入源（在您的情况下为MongoDB）和一个或多个输出接收器（在您的情况下为Elasticsearch）作为配置文件放置（示例在Logstash的
管道 目录中；Logstash负责其余的工作。

Logstash正式提供了许多常用数据源和接收器的插件。这些插件使您可以通过几种配置从各种来源读取数据或将数据写入各种来源。您只需要找到合适的 插件，进行安装，然后为您的方案配置它即可。Logstash有一个用于Elasticsearch的官方输出插件，其配置非常直观。但是，Logstash不为MongoDB提供任何输入插件。您需要找到第三方。这个似乎很有希望。

最后，您的管道可能如下所示：

input {
  mongodb {
    uri => 'mongodb://10.0.0.30/my-logs?ssl=true'
    placeholder_db_dir => '/opt/logstash-mongodb/'
    placeholder_db_name => 'logstash_sqlite.db'
    collection => 'events_'
    batch_size => 5000
  }
}
output {
  stdout {
    codec => rubydebug #outputs the same thing as elasticsearch in stdout to facilitate debugging
  }
  elasticsearch {
    hosts => "localhost:9200"
    index => "target_index"
    document_type => "document_type"
    document_id => "%{id}"
  }
}