目录

5.8.1.4-ES-与-MongoDB-数据同步

优质
小牛编辑
124浏览
2023-12-01
input {
  mongodb {
    uri  => 'mongodb://web:l8ka65##1@10.112.5.11:32222/who_aa_cen'
    placeholder_db_dir => "/tmp/logstash-mongodb/who_log"
    placeholder_db_name => "who_aa_cen"
    collection => "who_log"
    batch_size => 5000
    type => "pc-mongodb"
  }
}

output {
        elasticsearch {
                hosts => ["10.112.111.12:9400"]
                index => "pc-mongodb-%{+YYYY.MM.dd}"
        }
        stdout { codec => rubydebug }
}

1、猜想 使用 oplog.timestamp 记录同步本次,每次查询 oplog 的最新数据写入 oplog.timestamp,批量同步时,oplog.timestamp 中的时间戳不改变,所以失败后不能续传,connector 不适合批量同步数据。

参考资料