《Linux运维总结:使用elasticdump工具迁移单节点elasticsearch数据(方案一)》

Posted 东城绝神

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了《Linux运维总结:使用elasticdump工具迁移单节点elasticsearch数据(方案一)》相关的知识,希望对你有一定的参考价值。

一、背景信息

说明:由于整个系统需要从互联网迁移到政务外网,elasticsearch作为其中一个组件,也需要将 所有索引数据 迁移到政务外网。环境信息如下:

特点:elasticdump是一个能够将es的数据快速导入、导出、迁移的工具,适用于es数据量比较小的迁移场景。


二、安装elasticdump工具

《Linux运维总结:Centos7.6离线安装elasticdump》


三、自动化备份恢复工具

基于elasticsearch2.0.0实现一键备份及恢复工具

1、实现功能如下:

1、一键安装elasticdump工具。
2、一键备份所有索引数据。
3、一键恢复指定日期时间索引数据(在线和离线)。
4、保留7天历史备份文件。

说明:在线是指相同网络内,离线是指不同网络内。


二、使用工具实现数据备份恢复

注意:如果源主机和目标主机网络相通,可在源主机上进行备份,同时可在源主机上对目标主机的es数据进行恢复,无需将备份文件拷贝到目标主机。

1、一键安装elasticdump工具

[root@localhost elasticdump]# cd bin/
[root@localhost bin]# ./op.sh build
2022-11-28 10:27:58 Info: The tools node installed successfully.
2022-11-28 10:27:58 Info: The elasticdump tools installed successfully.

2、编辑env.conf文件

##################################<<适用于单机es2.0.0版本>>###########################################
# 导出,即备份es索引数据
# 源es ip地址
ES_SOURCE_IP="192.168.1.174"

# 源es 端口
ES_SOURCE_PORT="9201"
######################################################################################################
# 导入,即恢复es索引数据
# 目标es ip地址
ES_TARGET_IP="192.168.1.48"

# 目标es 端口
ES_TARGET_PORT="9201"

# 恢复文件目录,在tools/backup目录下,请根据实际备份需求填写绝对路径
# 例如: /data/pkgs/elasticdump/tools/backup/20221128
ES_RESTORE_DIR="/data/pkgs/elasticdump/tools/backup/20221128"
######################################################################################################

3、备份源主机es索引数据

#1、备份
[root@localhost elasticdump]# ./op.sh backup

#2、查看备份文件
[root@localhost elasticdump]# ll /data/pkgs/elasticdump/tools/backup/20221128
drwxr-xr-x 2 root root 105 1128 10:16 conference-index-2
drwxr-xr-x 2 root root  90 1128 10:13 depart_person
drwxr-xr-x 2 root root 114 1128 10:13 depart_person_statics
drwxr-xr-x 2 root root  96 1128 10:13 duty_statistics
-rw-r--r-- 1 root root 455 1128 10:13 es_indices.txt
drwxr-xr-x 2 root root  87 1128 10:13 logger_index
drwxr-xr-x 2 root root  81 1128 10:13 statistics
drwxr-xr-x 2 root root  63 1128 10:13 test

如下图所示:

4、将源主机es索引数据恢复到目标主机上

[root@localhost elasticdump]# ./op.sh restore

如下图所示:


总结:整理不易,如果对你有帮助,可否点赞关注一下?

更多详细内容请参考:Linux运维实战总结

以上是关于《Linux运维总结:使用elasticdump工具迁移单节点elasticsearch数据(方案一)》的主要内容,如果未能解决你的问题,请参考以下文章

vim(Linux运维)

vim(Linux运维)

vim(Linux运维)

Linux运维命令Curl - 日常用法总结

使用elasticdump实现es数据导入导出示例(持续更新中)

一位网工关于Linux的初学总结