Out of memory: Kill process 解决

Posted 2020-10-22

Linux有一个特性：OOM Killer，一个保护机制，用于避免在内存不足的时候不至于出现严重问题，把一些无关的进程优先杀掉，即在内存严重不足时，系统为了继续运转，内核会挑选一个进程，将其杀掉，以释放内存，缓解内存不足情况，不过这种保护是有限的，不能完全的保护进程的运行。

在很多情况下，经常会看到还有剩余内存时，oom-killer依旧把进程杀死了，现象是在/var/log/messages日志文件中有如下信息：
Out of Memory: Killed process [PID] [process name].
该问题是low memory耗尽，因为内核使用low memory来跟踪所有的内存分配。
当low memory耗尽，不管high memory剩多少，oom-killer都会杀死进程，以保持系统的正常运行。

上google研究了一下， 找到了一些配置方法。记录一下，备忘。

sysctl vm.panic_on_oom=1
sysctl kernel.panic=X
echo “vm.panic_on_oom=1” >> /etc/sysctl.conf
echo “kernel.panic=X” >> /etc/sysctl.conf

上面配置可以让linux在出现 Out of memory之后重启。

echo -15 > /proc/[pid]/oom_adj
这会让 oom 在出现 Out of memory后，尽量不去kill这个进程。

echo 10 > /proc/[pid]/oom_adjoom
会优先考虑kill这个进程。

echo -17 > /proc/[pid]/oom_adj
oom在Out of memory时， 不会kill该进程。

oom_adj的值在-16 到 +15之间，值越高被kill的优先度越高，当该值为-17时，系统将不会杀死指定pid的进程，而-16~15则会使得进程的/proc/[pid]/oom_adj值呈指数（K*2^n）形式递增，即它们被杀掉的可能性呈指数递增。针对init（进程号为1）这个进程，无论该值设为多少都不会被杀。

sysctl vm.overcommit_memory=2
echo “vm.overcommit_memory=2” >> /etc/sysctl.conf

可以完全关掉oom， 不过这并不建议，关掉后可能会出现未知的情况。