Elasticsearch我们如何在 5 天内在同一个 Elasticsearch 集群中重新索引 360 亿份文档

Posted 2021-06-19 九师兄

1.概述

翻译：https://thoughts.t37.net/how-we-reindexed-36-billions-documents-in-5-days-within-the-same-elasticsearch-cluster-cd9c054d1db8

这篇文章以及更多内容现在是我的免费电子书的一部分，可以在 Github 上找到运行 Elasticsearch for Fun and Profit 的内容。分叉它，给它加星标，打开问题并发送 PR！

在Synthesio，我们在各个地方使用ElasticSearch来运行复杂的查询，眨眼间从数百亿个文档中获取多达 5000 万个丰富的文档。Elasticsearch 使其快速且易于扩展，其中在多个 mysql 集群上运行相同的查询需要几分钟，并且在途中会导致一些服务器崩溃。每一天，我们都在进一步推动 Elasticsearch 的边界，深入了解其内部结构会带来更多的爱。

上周，我们决定使用全新的映射重新索引 136TB 数据集。在大型索引上更新 Elasticsearch 映射很容易