NUMA对MySQL的影响

Posted 2022-07-13 进击的CJR

收入如下告警

通知类型:告警
告警级别:严重
告警内容:【基础设施告警: *****主机交换区使用率异常,超过89.00%,
当前性能值为 89%】 共1条告警

NUMA 简介

NUMA（Non-Uniform Memory Access，非一致性内存访问） NUMA 服务器的基本特征是 Linux 将系统的硬件资源划分为多个软件抽象，称为节点（Node），每个节点上有单独的 CPU、内存和 I/O 槽口等。CPU 访问自身 Node 内存的速度将远远高于访问远地内存（系统内其它节点的内存）的速度，这也是非一致内存访问 NUMA 的由来。

NUMA 与 mysql 分析

NUMA 的 4 种内存分配策略：

• 缺省（default）：总是在本地节点分配（当前进程运行的节点上）
• 绑定（bind）：强制分配到指定节点上
• 交叉（interleavel）：在所有节点或者指定节点上交叉分配内存
• 优先（preferred）：在指定节点上分配，失败则在其他节点上分配

NUMA 的内存分配策略对于进程来说，并不是乐观的。因为 NUMA 默认是使用 CPU 亲和的内存分配策略，即请求进程会从当前所处的 CPU 的 Node 请求分配内存。当某个需要消耗大量内存的进程耗尽了所处的 Node 的内存时，就会导致产生 swap，不会从远程 Node 分配内存，这就是 swap insanity 现象。

MySQL 数据库是单进程多线程的架构，在开启的 NUMA 服务器中，内存被分配到各 NUMA Node 上，而 MySQL 进程只能消耗所在节点的内存。所以在开启 NUMA 的服务器上，某些特殊场景中容易出现系统拥有空闲内存但发生 SWAP 导致性能问题的情况。

比如专用的 MySQL 单实例服务器，物理内存为 40GB，MySQL 进程所在节点的本地内存为 20G，而 MySQL 配置 30GB 内存，超出节点本地内存部分会被 SWAP 到磁盘上，而不是使用其他节点的物理内存，引发性能问题。

如何关闭 NUMA

1. 硬件层，在 BIOS 中设置关闭；

2. OS 内核层，在 Linux Kernel 启动参数中加上 numa=off 后重启服务器；

For RHEL 6：

编辑 /boot/grub/grub.conf 文件的 kernel 行（添加 numa=off）：

# vi /boot/grub/grub.conf
kernel /vmlinuz-2.6.39-400.215.10.EL ro root=/dev/VolGroup00/LogVol00 numa=off

For RHEL 7：

编辑 /etc/default/grub 文件的 kernel 行

# vi /etc/default/grub
GRUB_CMDLINE_LINUX="rd.lvm.lv=rhel_vm-210/root rd.lvm.lv=rhel_vm-210/swap vconsole.font=latarcyrheb-sun16 crashkernel=auto  vconsole.keymap=us rhgb quiet numa=off

RHEL7/CentOS7 必须要重建 GRUB 配置文件才能生效：

# grub2-mkconfig -o /etc/grub2.cfg

3. 数据库层，在 mysqld_safe 脚本中加上 “numactl –interleave all” 来启动 mysqld。

# numactl --interleave=all ./bin/mysqld_safe --defaults-file=/etc/my.cnf &

innodb_numa_interleave 参数

MySQL 在 5.6.27、 5.7.9 引入了 innodb_numa_interleave 参数，MySQL 自身解决了内存分类策略的问题，需要服务器支持 numa。

根据官方文档的描述：

当启用 innodb_numa_interleave 时，mysqld 进程的 NUMA 内存策略被设置为 MPOL_INTERLEAVE；InnoDB 缓冲池分配完毕后，NUMA 内存策略又被设置为 MPOL_DEFAULT。当然 innodb_numa_interleave 参数生效，MySQL 必须是在启用 NUMA 的 Linux 系统上编译安装。从 MySQL 5.7.17 开始，CMake 编译软件新增了 WITH_NUMA 参数，可以在支持 NUMA 的 Linux 系统上编译 MySQL。需要注意 innodb_numa_interleave 参数在 MySQL5.7.17 的二进制包中是不支持的。

经过测试：

1.系统若不支持 numa，-DWITH_NUMA=ON 会导致 CMake 编译失败；

2.MySQL5.7.19+ 的免编译的二进制包开始支持 innodb_numa_interleave 参数。

关于 NUMA 的小建议

若是专用的 MySQL 服务器，可以关闭直接在 Bios 层或者 OS 内核层关闭 NUMA；

若希望其他进程使用 NUMA 特性，可以选择合适的 MySQL 版本开启 innodb_numa_interleave 参数。

关于 NUMA 的小误区：
numactl 命令未找到，numa 就是未开启吗？
不是，numactl 是 Linux 提供的一个对 NUMA 进行手工调优的命令（默认不安装），可以用 numactl 命令查看系统的 NUMA 状态和对 NUMA 进行控制。

查看命令

lscpu
NUMA node0 CPU(s):     0-11,24-35
NUMA node1 CPU(s):     12-23,36-47

 numactl --hardware
available: 4 nodes (0-3)
node 0 cpus: 0 4 8 12 16 20 24 28 32 36 40 44 48 52 56 60
node 0 size: 130968 MB
node 0 free: 36494 MB
node 1 cpus: 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61
node 1 size: 131072 MB
node 1 free: 37001 MB
node 2 cpus: 2 6 10 14 18 22 26 30 34 38 42 46 50 54 58 62
node 2 size: 131072 MB
node 2 free: 37091 MB
node 3 cpus: 3 7 11 15 19 23 27 31 35 39 43 47 51 55 59 63
node 3 size: 131072 MB
node 3 free: 35859 MB
node distances:
node   0   1   2   3 
  0:  10  21  21  21 
  1:  21  10  21  21 
  2:  21  21  10  21 
  3:  21  21  21  10