利用elasticsearch-dump实现es索引数据迁移附脚本

1、安装环境

CentOS Linux release 7.5.1804 (Core)

• 1

2、安装nodejs

yum install -y nodejs

• 1

3、验证nodejs

[root@localhost yum.repos.d]# node -v
v8.12.0
[root@localhost yum.repos.d]# npm -v 6.4.1 

• 1
• 2
• 3
• 4

4、安装elasticsearch-dump

npm install elasticdump

• 1

5、验证安装

进入elasticdump/bin目录下

cd node_modules/elasticdump/bin/

• 1

执行

 ./elasticdump

• 1

出现

Fri, 19 Oct 2018 07:03:15 GMT | Error Emitted => {"errors":["`input` is a required input","`output` is a required input"]} 

• 1

报错是因为没有输入参数

6、使用dump迁移索引

#拷贝索引

elasticdump 
	--input=http://production.es.com:9200/my_index 
	--output=http://staging.es.com:9200/my_index 
	--type=mapping

• 1
• 2
• 3
• 4

#拷贝数据

elasticdump 
	--input=http://production.es.com:9200/my_index 
	--output=http://staging.es.com:9200/my_index 
	--type=data

• 1
• 2
• 3
• 4

#拷贝所有索引

elasticdump  
	--input=http://production.es.com:9200/ 
	--output=http://staging.es.com:9200/ 
	--all=true  

• 1
• 2
• 3
• 4

7、迁移实战

为了方便操作写了一个脚本，仅供参考。

#!/bin/bash
echo -n "源ES地址: "
read old
echo -n "目标ES地址: " read new echo -n "源索引名: " read old_index echo -n "目标索引名: " read new_index cd /root/node_modules/elasticdump/bin/ ./elasticdump --input=$old/$old_index --output=$new/$new_index --type=mapping &>> /root/dump.log ./elasticdump --input=$old/$old_index --output=$new/$new_index --type=data &>> /root/dump.log