数据分布在具有许多索引的大型集群中(Elasticsearch)
Posted
技术标签:
【中文标题】数据分布在具有许多索引的大型集群中(Elasticsearch)【英文标题】:Data distribute in large cluster with many indices (Elasticsearch) 【发布时间】:2017-08-26 03:19:47 【问题描述】:我有一个包含 30 个节点和大量索引且主分片数量很少的集群。假设 800 个索引。大多数索引只有 1 或 2 个主分片。 我想知道 elasticsearch 集群如何在集群中分布这么多小索引的数据? 集群中的所有节点是否均匀接收数据?或接近均匀? 谢谢, 孙昌拉斯
【问题讨论】:
【参考方案1】:集群会自我重组以均匀分布数据。
你可以阅读here
对于您的具体情况,您可以使用kopf,这是一个很棒的插件,可以可视化每个节点中所有分片的位置。 我认为还有更多类似的插件,但这是我唯一使用过的插件。
【讨论】:
以上是关于数据分布在具有许多索引的大型集群中(Elasticsearch)的主要内容,如果未能解决你的问题,请参考以下文章
大型网站技术架构,6网站的伸缩性架构之分布式缓存集群的伸缩性设计
flask-web—— 搜索系统Elasticsearch分布式搜索引擎原理分片与集群IK中文分析器索引与文档Logstash导入数据与查询