数据分布在具有许多索引的大型集群中(Elasticsearch)

Posted

技术标签:

【中文标题】数据分布在具有许多索引的大型集群中(Elasticsearch)【英文标题】:Data distribute in large cluster with many indices (Elasticsearch) 【发布时间】:2017-08-26 03:19:47 【问题描述】:

我有一个包含 30 个节点和大量索引且主分片数量很少的集群。假设 800 个索引。大多数索引只有 1 或 2 个主分片。 我想知道 elasticsearch 集群如何在集群中分布这么多小索引的数据? 集群中的所有节点是否均匀接收数据?或接近均匀? 谢谢, 孙昌拉斯

【问题讨论】:

【参考方案1】:

集群会自我重组以均匀分布数据。

你可以阅读here

对于您的具体情况,您可以使用kopf,这是一个很棒的插件,可以可视化每个节点中所有分片的位置。 我认为还有更多类似的插件,但这是我唯一使用过的插件。

【讨论】:

以上是关于数据分布在具有许多索引的大型集群中(Elasticsearch)的主要内容,如果未能解决你的问题,请参考以下文章

Elastic Search 的原理

Spark vs Hadoop vs Storm

大型网站技术架构,6网站的伸缩性架构之分布式缓存集群的伸缩性设计

flask-web—— 搜索系统Elasticsearch分布式搜索引擎原理分片与集群IK中文分析器索引与文档Logstash导入数据与查询

如何使用具有不同分片数量的索引在 ElasticSearch 上实现负载的均匀分布?

微服务 分布式搜索引擎 Elastic Search RestAPI