[15]es线程池的优化

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了[15]es线程池的优化相关的知识，希望对你有一定的参考价值。

参考技术A 上面截取了部分线程池的配置，其中，最需要关注的是rejected。当某个线程池active==threads时，表示所有线程都在忙，那么后续新的请求就会进入queue中，即queue>0，一旦queue大小超出限制，如bulk的queue默认50，那么elasticsearch进程将拒绝请求（碰到bulk HTTP状态码429），相应的拒绝次数就会累加到rejected中。

1、记录失败的请求并重发
2、减少并发写的进程个数，同时加大每次bulk请求的size

ES核心线程池：

generic：通用操作，如node discovery。它的类型默认为scaling。5.x以后取消了cached类型

index：此线程池用于索引和删除操作。它的类型默认为fixed，size默认为可用处理器的数量，队列的size默认为200，最大线程池大小是可用处理器+1

search：此线程池用于搜索和计数请求。它的类型默认为fixed，size默认为(可用处理器的数量* 3) / 2) + 1，队列的size默认为1000。

get：此线程池用于实时的GET请求。它的类型默认为fixed，size默认为可用处理器的数量，队列的size默认为1000。

bulk：此线程池用于批量操作。它的类型默认为fixed，size默认为可用处理器的数量，队列的size默认为200。

percolate：此线程池用于预匹配器操作。它的类型默认为fixed，size默认为可用处理器的数量，队列的size默认为1000。

snaphot：For snapshot/restore operations. Thread pool type is scaling with a keep-alive of 5m and a max ofmin(5, (# of available processors)/2).

warmer：For segment warm-up operations. Thread pool type is scaling with a keep-alive of 5m and a max ofmin(5, (# of available processors)/2).

refresh：For refresh operations. Thread pool type is scaling with a keep-alive of 5m and a max of min(10, (# of available processors)/2).

listener：Mainly for java client executing of action when listener threaded is set to true. Thread pool type isscaling with a default max of min(10, (# of available processors)/2).

线程池类型：

1、cached 5.x以后取消了cached类型

无限制的线程池，为每个请求创建一个线程。这种线程池是为了防止请求被阻塞或者拒绝，其中的每个线程都有一个超时时间(keep_alive)，默认5分钟，一旦超时就会回收/终止。elasticsearch的generic线程池就是用该类型。发现在5.0.0-alpha2版本中去掉了该类型的线程池。

2、fixed

有着固定大小的线程池，大小由size属性指定，默认是5*cores数，允许你指定一个队列（使用queue_size属性指定，默认是-1，即无限制）用来保存请求，直到有一个空闲的线程来执行请求。如果Elasticsearch无法把请求放到队列中（队列满了），该请求将被拒绝。

3、scaling：

可变大小的pool，大小根据负载在1到size间，同样keep_alive参数指定了闲置线程被回收的时间。

修改线程池配置：

1.通过elasticsearch.yml文件进行修改

2.通过Rest API

使用es bulk api时报错如下

EsRejectedExcutionException[rejected execution(queue capacity 50) on.......]

这个错误明显是默认大小为50的队列（queue）处理不过来了，解决方法是增大bulk队列的长度但是会导致cpu消耗高或者降低并发量也可以采用重试的机制，捕获EsRejectedExcutionException异常，然后重新执行上一次的操作。

配置方法：

类似的配置写法如下：

通过restAPI设置：

Elasticsearch的线程池其实就是对Java自带的进行封装，虽然用户可以更改相关配置，但官方强烈不建议去修改默认值,在项目的实际使用中，我们也是对es的bulk线程配置做了调整。主要是通过type、queue_size、reject_policy来优化性能

参考链接： http://rockelixir.iteye.com/blog/1890867

官网关于thread_pool的链接： https://www.elastic.co/guide/en/elasticsearch/reference/5.4/modules-threadpool.html#processors

Android性能优化之线程池策略和对线程池的了解