如何在没有core文件的情况下用dmesg+addr2line定位段错误

Posted realjimmy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何在没有core文件的情况下用dmesg+addr2line定位段错误相关的知识,希望对你有一定的参考价值。

前言

在现网环境下,程序奔溃后不一定会留下core文件,原因有很多,比如存储空间不足就是其中一个常见的原因。此时我们只能依据linux记录的错误日志来定位问题。


涉及linux命令

本文涉及以下几条命令

1. dmesg命令,用于获取程序出错时的堆栈地址

1)dmesg |grep -E ‘segfault|general‘
可以通过该命令过滤出发生崩溃的程序,以及对应的堆栈信息。之前看网上的其他文章仅过滤segfault,但我在实践中发现"general protection"的提示信息也在告诉我们进程崩了。目前我只遇到segfault和general这两种情况,如果还有其他的过滤条件可以给我留言。

举例:
[root@vmware ~] dmesg |grep -E ‘segfault|general‘
[  374.549753] a.out[57228]: segfault at 0 ip 00000000004004fd sp 00007ffe7296f610 error 6 in a.out[400000+1000]
[  429.110096] b.out[96783]: segfault at 0 ip 00000000004004fd sp 00007ffcc3e697c0 error 6 in b.out[400000+1000]

字段说明:
1)ip:指令指针寄存器,字段后面的数字就是test程序出错时程序执行的位置
2)sp:堆栈指针寄存器
3)error:错误码,由三个字位组成的,从高到底分别为bit2 bit1和bit0
bit2: 值为1表示是用户态程序内存访问越界,值为0表示是内核态程序内存访问越界 
bit1: 值为1表示是写操作导致内存访问越界,值为0表示是读操作导致内存访问越界 
bit0: 值为1表示没有足够的权限访问非法地址的内容,值为0表示访问的非法地址根本没有对应的页面,也就是无效地址 
4)b.out后面紧跟着的地址(这里是400000)这个在定位时也有用到,不知道该怎么描述,知道的给我留言


2)dmesg |grep 进(线)程名
通过进程或线程名来过滤。这里之所以强调线程,因为我在实践中发现dmesg里的信息可能只有线程名,所以推荐在给线程取名时使用统一前缀,比如你的主进程为Test,那么线程可以取Test_A,Test_A,这样过滤时 grep Test就能过滤出所有想要的信息

举例:
[root@vmware ~] dmesg |grep a.out
[  374.549753] a.out[57228]: segfault at 0 ip 00000000004004fd sp 00007ffe7296f610 error 6 in a.out[400000+1000]


3)dmesg -C
dmesg命令查看到的信息在重启后将会被清空,若当前错误信息太多也可以通过该命令手动清空dmesg信息,以便下次问题的定位。-C(大写)参数为静默清空,如果清空前还想打印一次,可以通过-c(小写)参数。

注:

cat /var/log/messages |grep xxx
这里也保存进程奔溃信息,且重启后依然存在。

举例:
[root@vmware ~] cat /var/log/messages|grep b.out
May  8 09:24:04 vmware kernel: b.out[96783]: segfault at 0 ip 00000000004004fd sp 00007ffcc3e697c0 error 6 in b.out[400000+1000]
May  8 09:24:04 vmware abrt-hook-ccpp: Process 96783 (b.out) of user 0 killed by SIGSEGV - dumping core
May  8 09:24:05 vmware abrt-server: Executable ‘/root/b.out‘ doesn‘t belong to any package and ProcessUnpackaged is set to ‘no‘

2. date 用于转换dmesg信息里的时间戳

date -d "1970-01-01 UTC `echo "$(date +%s)-$(cat /proc/uptime|cut -f 1 -d‘ ‘)+时间戳"|bc `seconds"

举例:
[  672.091250] a.out[26520]: segfault at 0 ip 00000000004004fd sp 00007ffe51b27fe0 error 6 in a.out[400000+1000]
[root@vmware ~] date -d "1970-01-01 UTC `echo "$(date +%s)-$(cat /proc/uptime|cut -f 1 -d‘ ‘)+672.091250"|bc `seconds"                 
2019年 05月 08日 星期三 09:40:02 CST 

3. ldd 用于获取进程所依赖的动态库,以及所在位置


4. addr2line,将dmesg获取到的地址转换为代码中发成错误的文件、行号及函数名

奔溃发生的位置不同,该命令的使用方式也有所不同
1)在主进程中奔溃
addr2line -e 进程名 IP指令地址 -f

举例:
#include <stdio.h>
int main()
{
       int *p = NULL;
       *p = 0;

       return 0;
}
[root@vmware ~] gcc a.c -g       
[root@vmware ~] ./a.out 
段错误(吐核)
[root@vmware ~] dmesg |grep a.out
[ 1310.167335] a.out[122089]: segfault at 0 ip 00000000004004fd sp 00007ffcf08f3ab0 error 6 in a.out[400000+1000]
[root@vmware ~] addr2line -e a.out 00000000004004fd -f
func
/root/a.c:5
通过该例子我们可以看到,程序发生段错误的函数以及具体位置。需要注意的是如果编译程序时没有加上-g参数,就只能显示出函数名,显示不出具体所在文件的位置.

2)动态库中奔溃
addr2line -e 进程名 “IP指令地址-动态库后紧跟着的地址” -f

举例:
#include<stdio.h>
#include<string.h>
void func()
{
        int *p = NULL;
        memcpy(p, "test", 4);
}

int main()
{
        func();
        return 0;
}
[root@vmware ~] dmesg |grep a.out
[ 6807.501481] a.out[72684]: segfault at 0 ip 00007f6559bc7463 sp 00007fff80625b18 error 6 in libc-2.17.so[7f6559a7c000+1b6000]
[root@vmware ~] ldd a.out
        linux-vdso.so.1 =>  (0x00007ffc643f6000)
        libc.so.6 => /lib64/libc.so.6 (0x00007f83ef206000)
        /lib64/ld-linux-x86-64.so.2 (0x00007f83ef5e2000)
[root@vmware ~] addr2line -e /lib64/libc.so.6 14B463 -f
__memcpy_ssse3_back
:?  

这个这个例子我们可以看到,段错误发生的位置是在a.out进程调用的libc库里,因此addr2line指向的地址使用14B463 = 00007f6559bc7463 - 7f6559a7c000













以上是关于如何在没有core文件的情况下用dmesg+addr2line定位段错误的主要内容,如果未能解决你的问题,请参考以下文章

在没有其他库的情况下用纯 c/c++ 编写 BMP 图像

如何在不使用 3rd-party API 的情况下用 C# 压缩文件?

如何在忽略引号内的任何逗号的情况下用逗号分隔? [复制]

如何在没有隐式锁定最新的64位Intel CPU的情况下用寄存器交换堆栈顶部?

csharp 使用SDL Tridion Core Service发布页面。此示例显示如何在没有配置文件和使用B的情况下使用Core Service API

csharp 使用SDL Tridion Core Service发布页面。此示例显示如何在没有配置文件和使用B的情况下使用Core Service API