嵌入式/X86下linux系统死机及内存优化

Posted 2020-07-22 DoubleLi

一.  CPU 过高或死锁导致系统卡死

 

1. CPU占用过高

（1）开线程太多导致CPU占用过高，系统卡死

 解决：优化应用层业务逻辑，有些业务不必开线程就不开

（2）频繁清缓存导致读spi-flash频繁，引起CPU过高

解决：在内核中文件系统部分进行处理，不去清缓存，然后在应用层用后台服务进程清缓存。这样可能导致系统内存不够用，这样就需要再对系统内存进行优化

 

2. CPU死锁

（1）Spinlock+死等导致死锁

（2）应用层pthread_mutex_lock死锁

 

3.  CPU过热导致系统启动失败

（1）CPU超过Bios的设定阈值导致内核启动失败

（2）CPU确实太热，加风扇、扇热片，或者对结构进行优化

 

4. 灰尘太多、环境恶劣等因素导致电源异常

 

二． 内存问题导致系统死机

1. 虚拟内存耗尽

（1）线程开太多，导致虚拟内存到达3G，出现主程序挂死，但系统不会死机

确认方法：假如系统进程号为pid，那么查看/proc/pid/status可以看到开的线程数及虚拟、物理内存。另外用top也可以看到虚拟内存或物理内存，有的Busybox编译问题，看不到物理内存占用情况，这样就要根据/proc/pid/status，或者查看如下字段：

cat /proc/pid/stat | awk -F" " ‘{print "virt:"$23}‘

cat /proc/pid/stat | awk -F" " ‘{print "rss:"$24}‘

解决方法：调整应用层策略，可不开的线程就不开

 

2. 物理内存耗尽（OOM）

（1）这种一般都是内存泄露问题

确认方法：

A. 通过top确认物理内存增长情况

B. 通过/proc/pid/status统计物理内存增长情况，或者/proc/pid/stat

 

解决方法：

（1）通过review malloc/free来解决

（2）通过工具检查valgrind、oprofile、perf等工具

（3）静态检查工具：flint、pclint

 

（2）确实物理内存不够用

解决方法：内存优化

3. 内存碎片过多，伙伴系统大块内存耗尽

这是系统会出现内存OOM，通过OOM或者/proc/sysrq-tigger可以看到伙伴系统、slab缓存的内存分布情况，根据使用地方进行优化。

我们出现过一个问题，CPU过高时产生大量内存碎片，而CPU过高是因为清缓存后CPU读flash导致，CPU读flash到内存会产生内存碎片，这样可以通过CPU清缓存的时机来解决，或者就不去清缓存。

其他内存碎片处理方法：

 

三． 硬件问题

（1）外接串口一端悬空产生天线效应导致串口中断过多

（2）SIO信号干扰导致大量中断产生，系统卡住

 

四． 开机速度优化方法

（1）精简内核业务，没有用到的模块可以不编译进去，这种模块还是很多的

（2）将可以开机后加载的驱动编译成ko单独加载

（3）通过编译器编译选项优化

（4）增加flash的读取速度，调整flash时钟

（5）使用非压缩内核

（6）关闭串口打印输出

（7）XIP技术（eXecute In Place）

内核XIP：直接在flash/ROM中运行内核，或者使用非压缩内核vmlinux肯定比zImage、uImage快

文件系统XIP：比如cramfs文件系统，只把用到的部分读取到RAM中，要比jiffs2节省时间

（8）图形界面系统采用直接写framebuff，而不用C++/QT的GUI

 

五． 内存优化方法

（1）物理内存实在不够，即使没有内存泄露也不够，考虑交换内存

（2）优化数据结构，合理申请内存

（3）在适当的时间进行内存回收

（4）堆内存最小单位为16字节所以应尽量减少小块内存的申请，避免内存浪费

（5）调整M_MMAP_THRESHOLD,降低mmap的门槛，会降低内存空洞的风险，但也会增加系统调用，降低性能。

（6）调整M_TRIM_THRESHOLD,减少堆顶连续内存门槛，释放更多的堆顶内存。

（7）使用ptmalloc工具、oprofile、valgrind、perf等工具优化