binlog+审计日志 定位mariadb(mysql)数据库特定sql

Posted 2020-10-25

  最近线上数据莫名的丢数据，故进行sql定位，定位线上数据为何丢失，最后定位到具体某开发程序。

  审计日志：记录数据库所有信息，故会有巨大的日志，而且参数设置审计日志大小，会进行审计日志轮换分割。

1.基于审计日志这个特点，业务提出问题后，要及时发现问题解决问题。

线上业务日志为512M一个日志，共10个。大约能记录8个小时左右的数据库访问信息。

2.binlog：binlog是记录mysql数据库变化的信息，记录增删改等信息。

结合以上两点：可以binlog定位问题sql，通过审计日志定位操作DB的IP，用户从而定位到具体某人。

（如果每个开发有单独的数据库操作用户/权限，定位会更加准确）

比如业务给一个字段 id=11223344 记录被删除。

日志量小的时候，可通过审计日志直接定位。日质量大的时候可能比较困难定位。

实验：

MariaDB [test]> create table t111 ( id int not null, name varchar(30), city varchar(30));

Query OK, 0 rows affected (0.08 sec)

MariaDB [test]> insert into t111 (id,name) values (1,'aaa'),(2,'bbb'),(3,'ccc'),(11223344,'dddd');

Query OK, 4 rows affected (0.02 sec)

Records: 4  Duplicates: 0  Warnings: 0

MariaDB [test]> delete from t111 where id=11223344;

Query OK, 1 row affected (0.04 sec)

1. 通过binlog分析：

• 确定当前binlog

  show master status;

  
  

  +------------------+

  | File             |

  +------------------+

  | mysql-bin.000023 |

  +------------------+

/usr/local/mysql/bin/mysqlbinlog --start-datetime='2018-02-26 15:00:00' --stop-datetime='2018-02-26 15:13:00' -v --base64-output=decode-rows mysql-bin.000023 >/data/bin.log

#180226 15:09:48 server id 3306116  end_log_pos 775 CRC32 0x27b288a6    GTID 0-3306116-1280 trans

/*!100001 SET @@session.gtid_seq_no=1280*//*!*/;

BEGIN

/*!*/;

# at 775

#180226 15:09:48 server id 3306116  end_log_pos 828 CRC32 0x636faceb    Table_map: `test`.`t111` mapped to number 609

# at 828

#180226 15:09:48 server id 3306116  end_log_pos 871 CRC32 0xc6b380c3    Delete_rows: table id 609 flags: STMT_END_F

### DELETE FROM `test`.`t111`

### WHERE

###   @1=11223344 /* INT meta=0 nullable=0 is_null=0 */

###   @2='dddd' /* VARSTRING(120) meta=120 nullable=1 is_null=0 */

###   @3=NULL /* VARSTRING(120) meta=120 nullable=1 is_null=1 */

# at 871

2.审计日志分析

20180226 15:09:46,XHY005116,catr1,192.168.5.116,7125,0,DISCONNECT,,,0

20180226 15:09:48,XHY005116,root,localhost,7085,51,QUERY,test,'delete from t111 where id=11223344',0

20180226 15:09:49,XHY005116,catr1,192.168.5.117,7127,0,FAILED_CONNECT,,,1049

通过两部分日志定位用户，IP，表，sql等等信息。