graylog2采集mysql慢日志

Posted 2021-03-05 graylog

之前聊了一下graylog如何采集nginx日志，为此我介绍了两种采集方法（主动和被动），让大家对graylog日志采集有了一个大致的了解。

从日志收集这个角度，graylog提供了多样性和灵活性，大家可以根据自身场景选择适合自己的一种。

这次要跟大家聊的是如何通过graylog采集mysql慢日志。mysql慢日志的特点就是多行输出，不是那种一行就是一条日志的那种打印方式。

出了采集，我这边还要介绍一下如何通过graylog把慢日志相应的字段提取出来，方便我们进行分析，进而用grafana做成性能分析看板（APM）。

所以今天要围绕三点展开来讲：

graylog如何采集多行日志

graylog如何通过正则解析日志字段

如何通过grafana制作mysql慢日志的性能看板

 一、graylog如何采集多行日志：

（1）我们在已经建好的linux配置里新增一个mysql_slow_log的Beats Input，如果有对这块不清楚的同学可以看一下我之前的文章：Graylog2通过Graylog Collector Sidecar采集Nginx日志 主动方式 ，这里不再赘述一遍了。

（2）需要注意的是，我们处理的是多行日志所以要勾选 Enable Mutilline 

（3）Start pattern of a multiline message 文本框中填入：^# Time ，也就是告诉它日志的开头部分是以# Time开始。然后在How are matching lines combined into one event 的下拉菜单选择 after ，意思就是把以# Time开头，并在之后的那些行都算是一条日志。

（4）我们不要忘了在导航栏System/Collector 中，把新增的mysql_slow_log的新标签更新一下。

（5）在mysql服务器上安装好graylog Sidecar 并采集mysql慢日志，会得到以下的效果。graylog Sidecar 安装配置方法，请参考我之前的文章：Graylog2通过Graylog Collector Sidecar采集Nginx日志 主动方式 

二、graylog如何通过正则解析日志字段

（1）要想把日志中的各个字段提取出来，还需要我们对message进行进一步处理，通过正则匹配将字段提取出来。导航栏选择System/Grok Patterns。

（2）grok pattern取名为MYSQL_SLOW_QUERY_TIME ，Pattern一栏填入我们的正则表达式为：

Query_time: %{NUMBER:mysql_slow_querytime:float}(?:%{SPACE})Lock_time: %{NUMBER:mysql_slow_locktime:float}(?:%{SPACE})Rows_sent: %{NUMBER:mysql_slow_rowssent:int}(?:%{SPACE})Rows_examined: %{NUMBER:mysql_slow_rowsexamined:int}(?:%{SPACE})(?:%{GREEDYDATA}

点击save保存，这样我们就已经创建好一个名为MYSQL_SLOW_QUERY_TIME的这个正则解析了。

（3）这一步我们要创建一个mysql慢日志日志的解析器。我们在导航栏Search中选择一条mysql慢日志，在message的右侧有个小黑三角，点击选择Grok pattern -> Creat extractor for field message

（4）在Grok pattern文本框中填入刚才我们定义好的正则解析式的名字MYSQL_SLOW_QUERY_TIME，在Condition中选择执行这个解析的匹配的条件，有关键字：# Query_time 执行，把解析器命名完毕，点击Update extractor 进行保存。

 

（5）我们在回到导航栏Search中找一条最新采集的mysql慢日志，这时我们已经看到，相应的字段已经解析出来了，当然我们只是解析了其中一个字段，其他字段的解析还需大家了解一下正则表达式自己来编写，我只是抛砖引玉一下。

三、如何通过grafana制作mysql慢日志的性能看板

在grafana中选择mysql慢日志所在的ES数据源之后我们分别创建三个图形展示栏，饼图、表格栏、时间轴。

饼图主要是用来展示慢查询所在数据库的分布情况

表格图主要展示具体的时间，哪些客户端访问哪些数据库，耗时多少，并可以按照时间或者耗时时间进行排序。

时间轴主要是用来鼠标滑动时间范围，饼图和表格图会根据时间范围进行联动展示滑动范围内慢查询的详细信息。

这样，就能很快的帮我们分析出，具体是哪个慢查询导致的性能问题，一目了然。

具体grafana看板的制作方法，有时间我抽空详细讲一下，今天只是提供一个思路和实现手段。