Java程序猿修炼之道 之 Logging(3/3) - 怎么分析Log

Posted 2020-09-14 zhchoutai

1. 说明

作为一个程序猿我们常常要做一件事情：获取某个Log文件，从当中找出自己想要的信息。

本文总结了我在工作中使用了哪些工具来分析Log文件获取我想要的信息,我近期几年的工作环境都是server在Linux上，工作机是Windows， 所以我用的工具主要是Linux上的一些命令行工具，当然他们在Windows上也能够用，详细看以下的工具篇。
先声明，我仅仅是很普通的Linux用户，所以假设有些Linux命令或者工具用的不高效，请大家教育我。

题外话：我的观点是作为一个Java程序猿，仅仅须要在自己工作所须要的范围内了解所使用的操作系统就能够了。成为专家固然好，可是不是必要的。譬如：我天天用Windows，可是始终不知道怎样通过编辑组策略或者是注冊表的方式调网络连接数的最大值，反正差点儿全部的优化工具都有这个功能。

2. 工具

• 连接远程Linuxserver的工具：mRemoteNG官方站点好像被墙了。能够在华军天极之类的下载
• Windows上运行Linux命令行的工具：Cygwin或者是Git Bash假设你俩个都没有装的话，我的建议是装一个Git Bash。基本够用了，并且安装简单方便。

• 文本编辑器： vi。 偶尔在Windows下用Notepad++由于普通情况下的Log文件都会有个几十甚至几百M，用vi直接查看比較直接。并且打开比較快。
• 文本分析： Excel， 只是这次在家里写东西。所以我后面会尝试一下使用金山WPS 中的WPS表格

3. 分析Log

3.1 搜索文本

分析Log首先就是找到你所须要的Log，普通情况下我们所须要的Log是这么定位的

1. 依据异常信息或者请求信息找到相应的那一行
2. 依据该行的时间、线程名称、keyword等信息找到上下文中相关的Log

以下我们分别说一下上面这两步应该怎样做

3.1.1 找到相应的那一行,那一些文件

普通情况下我们在開始分析Log的时候会有这些信息辅助我们进行搜索

• 出错时候的參数
• 出错时候的异常信息
• 时间
• 假设什么信息都没有，就仅仅知道出错了，那么我们能够尝试一下搜索"Error"、"Warn"、"Exception"之类的

3.1.1.1 假设知道Log是在某一个详细的文件的话

我通常是使用vi 仅仅读模式打开该文件（如果该文件名称为access.log)

vi -R access.log

进去后让它显示一下行号：

:set nu

跳到第一行：

gg

或者是

1G

跳到最后一行:

0G

或者是

G

跳到第11行：

11G

从文件头往后面搜索字符串Hello World：

:/Hello World

从文件尾往前搜索字符串Hello World:

:?Hello World

跳到下一个符合搜索条件的地方:

n

跳到上一个符合搜索条件的地方：

N

vi里面用Go的缩写字母g跳来跳去, 字母n是Next的缩写退出vi的命令是：

:q!

3.1.1.2 假设不知道是哪个文件的话

我通常是使用grep命令样例例如以下:把搜索结果打印到屏幕上，用空格键翻页

grep -nR "Hello World" ./*.log | more

把搜索结果打印到文件helloWorld.log中

grep -nR "Hello World" ./*.log > helloWorld.log

3.1.2 找上下文

依照上面的步骤，找到线索了。假设干扰信息不多的话，你上下浏览能够了。那么假设干扰信息较多，我一般通过综合使用下面几种方式来获取自己所须要的不带干扰信息的日志。

• 依据该请求的线程名称、keyword来过滤出自己所须要的Log我一般使用使用上面的grep命令来做
• 依据一个分析出来的起始和结束时间（如一个web请求的进入和结果信息的写回时间）来得到该时间段内全部的日志。我一般先使用vi打开，然后找到所须要的内容的第一行的行号和最后一行的行号，然后使用sed命令获取当中的几行。以下的这个命令的结果是把source.log中的第200行到266行的内容保存到result.log文件里。

  sed -n 200,266p source.log > result.log

3.2 日志分析

除了在Log中发现线索之外，有的时候还须要对日志进行批量的分析，我碰到过的比方分析某种错误出现的时间、出现该错误的相关的id等等。须要用到一些统计之类的东西。

3.2.1 简单情况

简单的我一般把每一个场景萃取一行到一个文件里，然后使用wc(别笑，它是word count的缩写)命令来计算行数，例如以下所看到的

wc -l result.log

复杂的我通常是使用Excel或者是金山WPS来进行文件分析。

3.2.2 使用Excel或者金山WPS进行文件分析

1. 首先是先新建一个工作表
2. 然后把要分析的文本拷贝进去
3. 然后重复的使用 *分列* （菜单：数据->分列）功能把日志文件拆分成一个表格
4. 然后再使用过滤排序数据透视图等功能来进行分析

3.3 其它一些实用的命令

• 打开一个日志文件。看着它随着系统的执行而不断的更新

tail -f abc.log

• 同一时候监视多个文件的变化

tail -f ./*.log

• 看一个文件开头的20行

head -20 abc.log

• 看一个文件结尾的50行

tail -50 abc.log