elasticsearch索引按日期拆分和定期删除

Posted 2022-09-05 悠丶丶然

1.索引拆分原因

如果单个索引数据量过大会导致搜索变慢，而且不方便清理历史数据。
例如日志数据每天量很大，而且需要定期清理以往日志数据。例如原索引为sc_all_system_log，现按天拆分索引sc_all_system_log20220902，sc_all_system_log20220903，sc_all_system_log20220904，并且定期清理五天前索引。

实现最终效果

2022.09.03日志数据存入sc_all_system_log20220903
2022.09.04日志数据存入sc_all_system_log20220904

数据虽然存入了不同的索引中，但是搜索却指向一个索引搜索

实现方法

一个索引名称搜索出多个索引数据，其实实现原理很简单就是利用索引别名，不同的索引可以指向同一个索引别名，我们搜索时只要搜索索引别名即可。
具体实现方法，按照下面顺序看下去

定时清理策略

利用ES的索引生命周期，清理几天前索引，所以创建时间超过七天之后会自动删除
创建策略，后面会用到。

PUT _ilm/policy/policy_cktest_sc_system_log

  "policy": 
    "phases": 
      "delete": 
        "min_age": "7d",
        "actions": 
          "delete": 
        
      
    
  

创建索引模板

创建索引模板，索引模板主要是用来创建索引默认属性

PUT _template/sc_all_system_log

    "order":0,
    "index_patterns":[
        // 创建索引时，索引名称以这个为前缀时，默认使用此模板
        "sc_all_system_log*"
    ],
    "settings":
        "index":
			"refresh_interval": "10s",
            "number_of_shards":"5",
            "number_of_replicas":"1",
			"lifecycle":
				// 前面创建的索引定时清理策略，创建的索引会使用此清理策略
				"name":"policy_cktest_sc_system_log"
			
        
    ,
    "mappings":
        "_doc":
            "properties":
                "version":
					"type":"keyword",
					"index":"false"
                ,
				"timestamp":
					"type" : "date",
					"format" : "8uuuu-MM-dd HH:mm:ss.SSS"
                ,
				"message":
					"type":"text",
					"analyzer":"ik_smart",
					"search_analyzer":"ik_smart"
                ,
				"level":
					"type":"keyword"
                ,
				"namespace":
					"type":"keyword"
                ,
				"appName":
					"type":"keyword"
                ,
				"traceId":
					"type":"keyword"
                ,
				"spanId":
					"type":"keyword"
                ,
				"ip":
					"type":"keyword"
                ,
				"tags":
					"type":"object"
                
            
        
    ,
    "aliases":
    	// 创建索引时指定的别名，很重要
        "sc_all_system_log":
    

插入数据自动创建索引

这里我们指定的索引名称sc_all_system_log20220903，无此索引时会自动创建索引，创建索引时发现是以sc_all_system_log为前缀会默认使用上面的模板创建。所以索引sc_all_system_log20220903指向的别名是sc_all_system_log

// 2022.09.03插入一条记录，创建sc_all_system_log20220903索引
POST /sc_all_system_log20220903/_doc

  "version":"1",
  "timestamp":"2022-09-03 17:50:00.000",
  "message":"程序异常请联系管理员处理",
  "level":"info",
  "namespace":"sc-test",
  "appName":"sc-test",
  "traceId":"123456789",
  "spanId":"123456789",
  "ip":"127.0.0.1",
  "tags":
    "key1":"value1",
    "key2":"value2",
    "key3":"value3"
  

// 2022.09.04插入一条记录，创建sc_all_system_log20220904索引
POST /sc_all_system_log20220904/_doc

  "version":"1",
  "timestamp":"2022-09-03 17:50:00.000",
  "message":"程序异常请联系管理员处理，测试4",
  "level":"info",
  "namespace":"sc-test",
  "appName":"sc-test",
  "traceId":"123456789",
  "spanId":"123456789",
  "ip":"127.0.0.1",
  "tags":
    "key1":"value1",
    "key2":"value2",
    "key3":"value3"
  

搜索时，我们只需要指向别名(sc_all_system_log)搜索即可，如下图