Elasticsearch线程池配置

Posted 2023-05-02

参考技术A curl -XGET ' http://localhost:9200/_nodes/stats?pretty'

上面截取了部分线程池的配置，其中，最需要关注的是rejected。当某个线程池active==threads时，表示所有线程都在忙，那么后续新的请求就会进入queue中，即queue>0，一旦queue大小超出限制，如bulk的queue默认50，那么elasticsearch进程将拒绝请求（碰到bulk HTTP状态码429），相应的拒绝次数就会累加到rejected中。

记录失败的请求并重发，
减少并发写的进程个数，同时加大每次bulk请求的size。

EsRejectedExcutionException[rejected execution(queue capacity 50) on.......]
这个错误明显是默认大小为50的队列（queue）处理不过来了，解决方法是增大bulk队列的长度

threadpool.bulk.queue_size: 1000
threadpool.index.type: fixed
threadpool.index.size: 100
threadpool.index.queue_size: 500

thread_pool.search.queue_size: 500
thread_pool.search.size: 200
thread_pool.search.min_queue_size: 10
thread_pool.search.max_queue_size: 1000
thread_pool.search.auto_queue_frame_size: 2000
thread_pool.search.target_response_time: 6s

thread_pool.bulk.queue_size: 1024

cluster.routing.allocation.disk.include_relocations: false

indices.memory.index_buffer_size: 15%

indices.breaker.total.limit: 30%
indices.breaker.request.limit: 6%
indices.breaker.fielddata.limit: 3%

indices.query.bool.max_clause_count: 300000
indices.queries.cache.count: 500
indices.queries.cache.size: 5

如何修改elasticsearch默认线程池大小

1)修改启动脚本参数
在启动脚本中，增加如下参数
%JAVA_HOME%\bin\java %JAVA_VM% %MEM_ARGS% %JAVA_OPTIONS% -Dweblogic.Name=%SERVER_NAME% -Djava.security.policy=%WL_HOME%\server\lib\weblogic.policy -Dweblogic.threadpool.MinPoolSize=100 -Dweblogic.threadpool.MaxPoolSize=500 %PROXY_SETTINGS% %SERVER_CLASS%

2)修改config.xml
在config.xml中，增加如下参数
<server> <name>AdminServer</name> <self-tuning-thread-pool-size-min>100</self-tuning-thread-pool-size-min> <self-tuning-thread-pool-size-max>500</self-tuning-thread-pool-size-max> <listen-port>7923</listen-port> <listen-address></listen-address> </server> 参考技术A 打开es里面的config -》 elasticsearch.yml 文件
这个就是修改线程池的配置文件

添加threadpool.index.queue_size: 500之类的配置 注意：这个配置不一定是你需要的那个。具体查阅其他博客