ElasticsearchCurator 从入门到实战

Posted 九师兄

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ElasticsearchCurator 从入门到实战相关的知识,希望对你有一定的参考价值。

1.概述

转载:Curator 从入门到实战

Curator 是elasticsearch 官方的一个索引管理工具,可以通过配置文件的方式帮助我们对指定的一批索引进行创建/删除、打开/关闭、快照/恢复等管理操作。

2.场景

比如,出于读写性能的考虑,我们通常会把基于时间的数据按时间来创建索引。


当数据量到达一定量级时,为了节省内存或者磁盘空间,我们往往会根据实际情况选择关闭或者删除一定时间之前的索引。通常我们会写一段脚本调用elasticsearch的api,放到crontab中定期执行。这样虽然可以达到目的,但是脚本多了之后会变得难以维护。

Curator是如何解决这类问题的呢?我们一步一步来:

3.安装

首先,Curator是基于python实现的,我们可以直接通过pip来安装,这种方式最简单。

pip install elasticsearch-curator

4.基本配置

接下来,需要为 Curator 配置es连接:


其中hosts 允许配置多个地址,但是只能属于同一个集群。

这边只列举了最基本的配置,官方文档中包含了更详细的配置。

5.动作配置

然后需要配置我们需要执行的动作,每个动作会按顺序执行:

  • action 定义了需要执行的动作,curator支持十多种动作,可以在官方文档查看完整的动作列表。

  • options 定义了执行动作所需的参数,不同动作的参数也不尽相同,具体文档中都有写明。

  • filters 定义了动作的执行对象,通过设置filter,可以过滤出我们需要操作的索引。同一个action下的filter之间是且的关系。比如在上面的定义中,delete_indices下定义了两个filters:

    • 模式匹配:匹配前缀为log的索引

    • “年龄”匹配:根据索引名中“%Y.%m.%d”时间格式,过滤出3天以前的索引

curator支持十多种filter,可以在官方文档查看完整列表。

6.执行

最后,我们通过curator命令行工具来执行:

curator --config  /etc/curator/curator.yml 
 /etc/curator/actions/maintain_log.yml

得到命令行输出:


从日志中可以看到,我们已经成功创建了隔天的索引,并删除了28号以前的索引。

7.定时执行

配置好curator后,还需要配置定时任务

使用 crontab-e编辑crontab,

添加一行:

0 23 * * *
curator --config /etc/curator/curator.yml
/etc/curator/actions/maintain_log.yml >> /var/curator.log 2> &1

crontab配置中的第一段是执行的周期,6个值分别是“分 时 日 月 周”,*表示全部。所以这段配置的含义是在每天23点执行我们的这段脚本。

8.单个执行

除了定时任务,我们也可以在不依赖action配置文件的情况下用curator执行一些临时的批量操作。curator提供了 curator_cli的命令来执行单个action,比如我们想对所有log开头的索引做快照,使用一条命令即可完成:

curator_cli snapshot --repository repo_name 
--
filter_list 
{
"filtertype"
:
 
"pattern"
,
"kind"
:
 
"prefix"
,
 
"value"
:
 
"log"
}

是不是特别方便?

执行流程

以上是关于ElasticsearchCurator 从入门到实战的主要内容,如果未能解决你的问题,请参考以下文章

Python 从入门到精通推荐看哪些书籍呢?

gentoo从入门到放弃

cmake从入门到放弃

G1从入门到放弃(二)

WPF MVVM从入门到精通3:数据绑定

WPF MVVM从入门到精通8:数据验证