binlog+审计日志 定位mariadb(mysql)数据库特定sql

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了binlog+审计日志 定位mariadb(mysql)数据库特定sql相关的知识,希望对你有一定的参考价值。

  最近线上数据莫名的丢数据,故进行sql定位,定位线上数据为何丢失,最后定位到具体某开发程序。

  审计日志:记录数据库所有信息,故会有巨大的日志,而且参数设置审计日志大小,会进行审计日志轮换分割。

1.基于审计日志这个特点,业务提出问题后,要及时发现问题解决问题。

线上业务日志为512M一个日志,共10个。大约能记录8个小时左右的数据库访问信息。

2.binlog:binlog是记录mysql数据库变化的信息,记录增删改等信息。

结合以上两点:可以binlog定位问题sql,通过审计日志定位操作DB的IP,用户从而定位到具体某人。

(如果每个开发有单独的数据库操作用户/权限,定位会更加准确)

比如业务给一个字段 id=11223344 记录被删除。

日志量小的时候,可通过审计日志直接定位。日质量大的时候可能比较困难定位。

实验:

MariaDB [test]> create table t111 ( id int not null, name varchar(30), city varchar(30));

Query OK, 0 rows affected (0.08 sec)

MariaDB [test]> insert into t111 (id,name) values (1,'aaa'),(2,'bbb'),(3,'ccc'),(11223344,'dddd');

Query OK, 4 rows affected (0.02 sec)

Records: 4  Duplicates: 0  Warnings: 0

MariaDB [test]> delete from t111 where id=11223344;

Query OK, 1 row affected (0.04 sec)


  1. 通过binlog分析:

  • 确定当前binlog

    show master status;


    +------------------+

    | File             |

    +------------------+

    | mysql-bin.000023 |

    +------------------+

/usr/local/mysql/bin/mysqlbinlog --start-datetime='2018-02-26 15:00:00' --stop-datetime='2018-02-26 15:13:00' -v --base64-output=decode-rows mysql-bin.000023 >/data/bin.log


#180226 15:09:48 server id 3306116  end_log_pos 775 CRC32 0x27b288a6    GTID 0-3306116-1280 trans

/*!100001 SET @@session.gtid_seq_no=1280*//*!*/;

BEGIN

/*!*/;

# at 775

#180226 15:09:48 server id 3306116  end_log_pos 828 CRC32 0x636faceb    Table_map: `test`.`t111` mapped to number 609

# at 828

#180226 15:09:48 server id 3306116  end_log_pos 871 CRC32 0xc6b380c3    Delete_rows: table id 609 flags: STMT_END_F

### DELETE FROM `test`.`t111`

### WHERE

###   @1=11223344 /* INT meta=0 nullable=0 is_null=0 */

###   @2='dddd' /* VARSTRING(120) meta=120 nullable=1 is_null=0 */

###   @3=NULL /* VARSTRING(120) meta=120 nullable=1 is_null=1 */

# at 871


2.审计日志分析

20180226 15:09:46,XHY005116,catr1,192.168.5.116,7125,0,DISCONNECT,,,0

20180226 15:09:48,XHY005116,root,localhost,7085,51,QUERY,test,'delete from t111 where id=11223344',0

20180226 15:09:49,XHY005116,catr1,192.168.5.117,7127,0,FAILED_CONNECT,,,1049


通过两部分日志定位用户,IP,表,sql等等信息。





以上是关于binlog+审计日志 定位mariadb(mysql)数据库特定sql的主要内容,如果未能解决你的问题,请参考以下文章

第4天 一篇MariaDB日志审计

第4天 一篇MariaDB日志审计

给MariaDB开启日志审计功能

mysql基于init-connect+binlog完成审计功能

MariaDB日志审计 帮你揪出内个干坏事儿的小子

mysql清理binlog日志