TIDB海量数据新增索引

Posted 2022-11-23 Liu Hongbo

TIDB海量数据新增索引

由于创建索引在扫表回填索引的时候会消耗大量资源，甚至与一些频繁更新的字段会发生冲突导致正常业务受到影响。大表创建索引的过程往往会持续很长时间，所以要尽可能地平衡执行时间和集群性能之间的关系，比如选择非高频更新时间段

参数调整：

目前主要使用 tidb_ddl_reorg_worker_cnt 和 tidb_ddl_reorg_batch_size 这两个参数来动态调整索引创建速度，通常来说它们的值越小对系统影响越小，但是执行时间越长。

一般情况下，先将值保持为默认的 4 和 256 ，观察集群资源使用情况和响应速度，再逐渐调大 tidb_ddl_reorg_worker_cnt 参数来增加并发，观察监控如果系统没有发生明显的抖动，再逐渐调大 tidb_ddl_reorg_batch_size 参数，但如果索引涉及的列更新很频繁的话就会造成大量冲突造成失败重试。

另外还可以通过调整参数 tidb_ddl_reorg_priority 为 PRIORITY_HIGH 来让创建索引的任务保持高优先级来提升速度，但在通用 OLTP 系统上，一般建议保持默认。

例：生产1亿数据：

SET GLOBAL  tidb_ddl_reorg_worker_cnt = 16;

SET GLOBAL tidb_ddl_reorg_batch_size = 10240;