[Elasticsearch实战] snapshot restore 备份还原

Posted 2023-03-18

参考技术A 长期运维elasticsearch时，你可能会遇到一个非常实用的需求：elasticsearch集群的存储空间有限，而每天都有海量的日志数据流入集群中。但是旧数据往往使用频率极低，那么是不是可以定期将过期数据从集群中移除，当必须要使用的时候再移入。

一般使用Elasticsearch的公司都有hadoop集群，那么我们可以这么做：把 Elasticsearch 索引数据转移到 HDFS 上，以解决 Elasticsearch 上的磁盘空间；而在我们需要的时候，又可以从 HDFS 上把索引恢复回来继续使用。

我们可以利用snapshot/restore两个api做到这一点。注：如果想使用HDFS作为快照的存储介质，必须事先安装repository-hdfs插件（官方还提供了S3,HDFS,Azure,GoogleCloudStorage对应插件）

或者离线安装
https://artifacts.elastic.co/downloads/elasticsearch-plugins/repository-hdfs/repository-hdfs-5.4.1.zip

如果遇到问题你可以看我的文章： ［ElasticSearch填坑］创建hdfs repository: Permission Denied

"ignore_unavailable": true 忽略有问题的shard， "include_global_state": false 快照里不放入集群global信息。

如果遇到问题你可以看我的文章： ［ElasticSearch填坑］创建Snapshot: SecurityException

rename_pattern 和 rename_replacement 用于重命名index，因为无法将index还原到open的index。

如果你想更深入的了解snapshot，可以看我的文章 ［Elasticsearch实战］snapshot 探索

Elasticsearch 7.X 进阶实战视频课上线

1、Elasticsearch 7.X 进阶实战大纲

课程地址：Elasticsearch 7.X 进阶实战视频课

10个大选题来源于实战业务场景的提炼、总结。

1. Elasticsearch 全貌认知

2. Elasticsearch 索引创建和搜索原理

3. Elasticsearch 集群规划及节点角色规划最佳实践

4. Elasticsearch 集群性能调优及原理

5. Elasticsearch 数据建模实例讲解与实战技巧

6. Elasticsearch 冷温热架构讲解与实战

7. Elasticsearch ILM 索引生命周期管理讲解与实战

8. Elasticsearch CCS 跨集群搜索讲解与实战

9. Elasticsearch 分片分配策略讲解与实战

10. Elasticsearch 安全特性讲解与使用

2、课程特色

课程地址：Elasticsearch 7.X 进阶实战视频课

• 来源于项目实战、应用于实战项目。

• 实战项目经验总结，属于基础后的进阶系列。

• 基于 7.13 版本讲解，市面上教程都没有完整体现过该版本。

• 近 10 个小时的视频，力求相对完整、体系、通透。

 

3、讲解方式

课程地址：Elasticsearch 7.X 进阶实战视频课

• 干货凝练总结、侧重原理、深入浅出。

• 每一讲脚本都可以提供下载，跟着学、学的会。

• 视频共11大讲，每一讲可以独立成课，方便大家地铁、公交车学习。

• 录播方式，非直播。

4、讲师：铭毅天下介绍

课程地址：Elasticsearch 7.X 进阶实战视频课​​​​​​​

• Elastic认证工程师、Elastic中国合作培训讲师（有世界500强企业用户企业内训经验）；

• 阿里云MVP（http://t.cn/RmhnT3j）;

• 死磕Elasticsearch知识星球发起人，全球付费用户1200人+（含中国台湾、美国硅谷、加拿大球友），已带领 60人+ 通过Elasticsearch 认证考试（中国仅通过100人左右）；

• 可能是中国最大Elastic技术公众号——铭毅天下Elasticsearch作者。

• CSDN博客专家、CSDN2020年度优秀创作者、CSDN2016年、2013年博客征文大赛特等奖得主；CSDN博客地址：elastic.blog.csdn.net；CSDN博客排名：近前300，阅读量近500,0000+；CSDN持续写作近十年（几乎每月都有输出，几乎从未间断），累计使用 Elasticsearch 超过 10000小时；

• Elastic中文社区（www.elasticsearch.cn）日报责任编辑，2018年Elastic中文社区杰出贡献者、社区排名 TOP5；

• 高级工程师、计算机应用技术硕士、近十年工作经验；

• 理想主义者、终身学习者、终身成长者；

• 笃信坚持、积累的力量；自1997年——至今20年+持续思考、积累、总结，从未间断；

• 个人信条：自由不是你想干什么就干什么，而是你不想干什么就有能力不干什么！人因为梦想而伟大，机遇永远属于那些有准备、立即行动并能坚持到底的人！

 中国最大的Elastic技术公众号