压缩 Elasticsearch 快照的最佳方法是啥？

Posted 2023-03-06

【中文标题】压缩 Elasticsearch 快照的最佳方法是啥？

【英文标题】：What is the best way to compress Elasticsearch snapshot?压缩 Elasticsearch 快照的最佳方法是什么？

【发布时间】：2015-11-27 07:57:02

【问题描述】：

我们的应用每天会写入大量日志，例如 200 GB。目前，我们的应用程序将日志写入共享存储上的纯文本文件。这些文件使用 zip 压缩得很好。

我们计划改用 Elasticsearch + Kibana。而且我们的测试表明，使用 zip 进行快照压缩只会将其缩小到原始大小的一半。

压缩每日索引快照的最佳方法是什么？

【参考方案1】：

在快照中，elasticsearch 提供了仅适用于元数据文件（索引映射和设置）的压缩参数

纯文本文件压缩可以参考以下链接，

https://superuser.com/questions/6912/highest-compression-for-filesfor-web-transfer http://www.howtogeek.com/200698/benchmarked-whats-the-best-file-compression-format/

【讨论】：

我不确定这有什么帮助。 OP 的问题是我们如何压缩正在使用快照备份的数据。这是由 ES 控制的。我们如何在快照时控制备份数据（不是元数据）？