向 ClickHouse 插入数据时 iops 高
Posted
技术标签:
【中文标题】向 ClickHouse 插入数据时 iops 高【英文标题】：high iops when insert data to ClickHouse 【发布时间】：2020-08-05 15:41:38 【问题描述】：我在向 clickhouse 插入数据时遇到了性能问题。我们每批插入100000行，间隔时间30s，但是由于partition key字段的基数很大，所以100000行要插入2000+个分区，那么就达到了iops的限制，150，即使我们增加ebs的iops限制到2000，还是达到了限制。如果我不能减少分区数量，我该如何减少 iops？ Clickhouse 的版本是 20.5 提前致谢！
【问题讨论】：
【参考方案1】：2000 个分区 ~ 每次插入 2000 * number_of_columns * 2(4) 个文件 (* 2 iops)。
尝试启用紧凑部件 紧凑——所有列都存储在文件系统中的一个文件中。 表设置 min_bytes_for_wide_part = '10M'
或尝试 engine=Buffer
【讨论】：
以上是关于向 ClickHouse 插入数据时 iops 高的主要内容，如果未能解决你的问题，请参考以下文章
clickhouse实践关于clickhouse对空值的处理总结