5.8.1.4-ES-与-MongoDB-数据同步
优质
小牛编辑
129浏览
2023-12-01
input {
mongodb {
uri => 'mongodb://web:l8ka65##1@10.112.5.11:32222/who_aa_cen'
placeholder_db_dir => "/tmp/logstash-mongodb/who_log"
placeholder_db_name => "who_aa_cen"
collection => "who_log"
batch_size => 5000
type => "pc-mongodb"
}
}
output {
elasticsearch {
hosts => ["10.112.111.12:9400"]
index => "pc-mongodb-%{+YYYY.MM.dd}"
}
stdout { codec => rubydebug }
}
1、猜想 使用 oplog.timestamp 记录同步本次,每次查询 oplog 的最新数据写入 oplog.timestamp,批量同步时,oplog.timestamp 中的时间戳不改变,所以失败后不能续传,connector 不适合批量同步数据。