Elasticsearch10分钟查询一个petabyte的云存储容量

Posted 2021-08-30 九师兄

1.概述

翻译：Querying a petabyte of cloud storage in 10 minutes

Elastic的新冻结数据层将计算与存储解耦，并利用低成本的对象存储(如谷歌Cloud storage、Azure Blob storage或Amazon S3)直接促进搜索。它提供了无限的存储扩展，同时保留了高效查询数据的能力，而不需要首先对数据进行补充，使大规模管理数据变得更容易和更便宜。

在这篇博文中，我们将比较新的冻结层与现有的Elasticsearch数据层的搜索性能，并展示如何使用冻结层以较低的性能存储和搜索大量数据。冰冻层的主要亮点是:

• 如果数据没有缓存，那么在4TB数据集中返回简单术语查询的结果只需要几秒钟。如果它被缓存，则性能以毫秒为单位——类似于暖层或冷层。

• 如果数据没有缓存，在4TB数据集上计算一个复杂的Kibana仪表板只需不到5分钟。如果它被缓存，它将在几秒钟内完成—类似于暖层或冷层。

• 轻松地将数据量扩展到1PB数据集。如果没有缓存，简单词汇查询的结果将在10分钟内返回。