合并树中的零件是不是有最大“健康”大小？

Posted 2023-03-25

【中文标题】合并树中的零件是不是有最大“健康”大小？

【英文标题】：Is there a maximum "healthy" size for a part in a Merge Tree?合并树中的零件是否有最大“健康”大小？

【发布时间】：2021-07-17 00:34:36

【问题描述】：

我在 Clickhouse 20.7.2 上运行的 3 个节点集群（3 个副本，一个分片）上有一个带有 this schema 的表。我没有更改任何默认的合并树配置设置。

正如预期的那样，Clickhouse 背景合并生成的部分最大大小约为 150Gb。它定期生成具有 10-20 个部分的分区。这似乎是意料之中的。

有时我会在某些分区上运行 OPTIMIZE FINAL 以删除重复项。正如预期的那样，这会将部分压缩在一起并生成高达 350Gb 的部分。

在运行这么大的部件时，我有什么特别需要注意的吗？ 后台合并生成的默认最大零件大小也有理由具体为 150Gb 吗？

非常感谢您。

【参考方案1】：

在运行这么大的部件时我应该注意什么特别的问题？

不用担心。

生成默认最大零件尺寸也是有原因的 通过后台合并具体为 150Gb 吗？

没有特别的原因。 Yandex 事先不知道什么值足够好，他们设置了 100GB。后来（2017 年 12 月）他们决定逐渐将其增加到 300GB（或 500GB？），他们做了第一次尝试并改变了它，他们设置了 150GB，他们得到了大量的满足，因为所有用户的所有系统都开始合并旧部件和变得非常缓慢。所以他们决定不再改变这个参数。