Elasticsearch--集群&吞吐量

Posted 2021-01-15 51zone

目录

• 高查询和高吞吐量
  • 过滤器缓存
  • 字段数据缓存和断路器
    • 断路器
  • 存储模块
  • 索引缓冲和刷新率
    • 索引刷新率
  • 线程池的配置
  • 一些通用的建议来配置高索引和查询吞吐量的集群

高查询和高吞吐量

过滤器缓存

过滤器缓存负责存查询中使用到的过滤器。

Elasticsearch包含两种类型的过滤器缓存：节点过滤去缓存（默认）和索引过滤器缓存。

节点过滤器缓存被分配在节点上的所有索引共享，可以配置成使用特定大小的内存，或分配给Elasticsearch总内存的百分比。属性是indices.cache.filter.size。

索引过滤器缓存基于索引级别，一般来说，应该使用节点级别的过滤器缓存，因为很难预测每个索引最终缓存大小，通常也不知道最终节点会有多少索引。

字段数据缓存和断路器

字段数据缓存是Elasticsearch缓存的一部分，主要用于当查询对字段执行排序或切面时。构建字段数据缓存是昂贵的。

允许用于字段数据缓存的内存大小用indices.fielddata.cache.size属性来控制。这些值是节点级别的。此外，默认情况下，字段数据缓存的大小是无限的。

我们可以控制字段数据缓存的过期时间，默认情况下字段数据缓存是永不过期的。用indices.fielddata.cache.expire属性来控制。重建字段数据缓存是非常昂贵的，一般情况下，不应该设置过期时间。

断路器

字段数据断路器允许估计一个字段加载到缓存所需的内存。利用它，可以抛出异常防止一些字段加载到内存。有两个属性来控制其行为，indices.fielddata.break.limit,默认是80%。indices.fielddata.break.overhead，默认是1.03，定义了用来与原始估计相乘的一个常量。

存储模块

Elasticsearch中的存储模块负责控制如何写入索引数据。
利用index.store.type属性，指定使用存储的类型：

索引缓冲和刷新率

Elasticsearch允许设置最大的内存数。indices.memory.index_buffer_size设置节点上所有索引分片共拥有的最大内存大小。例如20%，Elasticsearch提供最大堆大小20%的内存给索引缓冲。

indices.memory.min_index_buffer_size，默认是4mb，允许每个分片设置最小索引缓冲。

索引刷新率

index.refresh_interval指定在索引搜索器对象刷新频率，默认是1s，基本意味着数据视图刷新的频率。刷新率越低，文档对搜索操作可视的时间越短和索引操作将会变慢。
当对数据重建索引时，建议在索引阶段把index.refresh_interval属性设为-1。

线程池的配置

Elasticsearch使用多个池来控制线程的处理。
Elasticsearch公开的如下线程池类型：

一些通用的建议来配置高索引和查询吞吐量的集群

必须给予Elasticsearch足够的内存，而且是物理内存。一般来说，运行Elasticsearch的JVM进程不应该超过可用内存的50%或60%。另外，把Xms和Xmx参数设置为相同的值以避免JVM堆的大小调整。

1. 选择正确的存储
   除了物理内存以外，应该选择正确的存储实现。如果运行64位操作系统，应该选择mmapfs。如果没有运行64位系统，UNIX系统选择niofs,windows系统选择simplefs。如果可以容忍一个易失的存储，但希望它非常快，可以选择memory存储。
2. 索引刷新率
   刷新率指定文档多块可以对搜索可见。刷新率越快，查询越慢，索引吞吐量越低。如果允许一个较慢的刷新率，如10s或30s,这使得Elasticsearch承受的压力更少，因此内部对象重新打开的频率更低，因此，将有更多的资源用于索引和查询。
3. 优化线程池
   强烈建议调整默认线程池，尤其是查询操作。在性能测试之后，通常看到集群上的查询不堪重负，这是应该开始拒绝请求。大多数情况下，最好立刻拒绝该请求，而不是放到队列中并强制程序等待很长时间请求处理。
4. 优化合并过程
   合并过程很大程度上取决于用例，以及若干因素。查询多个段跟查询数量更少的段相比更慢。但是，想查询数目更少的段，需要更多的代建进行合并。
   通常来说，如果想查询更快，应该以索引中更少的段为目标。如果想索引更快，应该有更多的段。使用并行合并调度器并调整默认调节值，是I/O子系统不会被合并吞没。
5. 字段数据缓存和断路器
   默认情况下，字段数据缓存是无限的。有两个不同因子可以调节，来确保不会遇到内存不足错误。首先，可以限制字段数据缓存的大小。其次是断路器，通过它配置成加载过多数据时抛出一个异常。
6. 索引的内存缓冲区
   用于索引缓冲区的可用内存越多(indices.memory.index_buffer_size)，Elasticsearch可以在内存总保存的文档也越多。默认情况下，属性值是10%，如果需要更高的索引比例，可以提高这个百分比。
7. 优化事务日志
   Elasticsearch有个内部模块称为translog。它是分片上的结构，为预写日志服务。
   默认情况下，Elasticsearch在事务日志中保存最多5000次操作，同时最大不超过200mb。如果想要更高的索引吞吐量，又可以承担数据对搜索操作不可见的时间更长，就可以提高这个默认值。index.translog.flush_threhold_ops和index.translog.flush_threhold_size（两者都是索引上的设置，可以通过Elasticsearch API实时更新）。
8. 牢记于心
   除了上面提到的因素，应该监视Elasticsearch集群并作出相应的反应。