python写的分析mysql binlog日志工具

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python写的分析mysql binlog日志工具相关的知识,希望对你有一定的参考价值。

因为数据库增删改突然暴增,需要查询是那些表的操作特别频繁,写了一个用来分析bin-log的小工具,找出增删改查的表,并按照操作次数降序排列,以下是代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
#for mysql5.5 binlog
import os,sys
#python binlog.py binglog-0001 ‘2013-07-01 00:00:00‘ ‘2013-07-02 00:00:00‘
def log_w(type,text):
    logfile = "%s.txt" % (type,text)
    #now = time.strftime("%Y-%m-%d %H:%M:%S")
    tt = str(text) + "\n"
    f = open(logfile,‘a+‘)
    f.write(tt)
    f.close()
logname = sys.argv[1]
start_time = sys.argv[2]
end_time = sys.argv[3]
comn = "/usr/bin/mysqlbinlog --start-datetime=‘%s‘ --stop-datetime=‘%s‘ %s" % (start_time,end_time,logname)
aa=os.popen(comn).readlines()
mylist=[]
for a in aa:
    if (‘UPDATE‘ in a):
            update = ‘ ‘.join(a.split()[:2])
            mylist.append(update)
    if (‘INSERT INTO‘ in a):
            update = ‘ ‘.join(a.split()[:3]).replace("INTO ","")
            mylist.append(update)
    if (‘DELETE from‘ in a):
            update = ‘ ‘.join(a.split()[:3]).replace("from ","")
            mylist.append(update)
mylist.sort()
bb = list(set(mylist))
bb.sort()
cc = []
for item in bb:
        cc.append([mylist.count(item),(item)])
cc.sort()
cc.reverse()
for i in cc:
        print str(i[0])+‘\t‘+i[1]

技术分享技术分享执行结果如下:技术分享

本文出自 “王伟” 博客,请务必保留此出处http://wangwei007.blog.51cto.com/68019/1306940

以上是关于python写的分析mysql binlog日志工具的主要内容,如果未能解决你的问题,请参考以下文章

MySQL binlog日志三种模式选择及配置

基于binlog来分析mysql的行记录修改情况(python脚本分析)

MySQL binlog相关分析

MySQL Binlog 组提交实现

监听MySQL的binlog日志工具分析:Canal

MySQL binlog相关分析