如何实现监控mysql，并将有变动的数据表写入指定的文件夹？
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了如何实现监控mysql，并将有变动的数据表写入指定的文件夹？相关的知识，希望对你有一定的参考价值。
首先介绍下 pt-stalk，它是 Percona-Toolkit 工具包中的一个工具，说起 PT 工具包大家都不陌生，平时常用的 pt-query-digest、 pt-online-schema-change 等工具都是出自于这个工具包，这里就不多介绍了。
pt-stalk 的主要功能是在出现问题时收集 OS 及 mysql 的诊断信息，这其中包括：
1. OS 层面的 CPU、IO、内存、磁盘、网络等信息；
2. MySQL 层面的行锁等待、会话连接、主从复制，状态参数等信息。
而且 pt-stalk 是一个 Shell脚本，对于我这种看不懂 perl 的人来说比较友好，脚本里面的监控逻辑与监控命令也可以拿来参考，用于构建自己的监控体系。
三、使用
接着我们来看下如何使用这个工具。
pt-stalk 通常以后台服务形式监控 MySQL 并等待触发条件，当触发条件时收集相关诊断数据。
触发条件相关的参数有以下几个：
function：
∘ 默认为 status，代表监控 SHOW GLOBAL STATUS 的输出；
∘ 也可以设置为 processlist，代表监控 show processlist 的输出；
variable：
∘ 默认为 Threads_running，代表 监控参数，根据上述监控输出指定具体的监控项；
threshold：
∘ 默认为 25，代表 监控阈值，监控参数超过阈值，则满足触发条件；
∘ 监控参数的值非数字时，需要配合 match 参数一起使用，如 processlist 的 state 列；
cycles：
∘ 默认为 5，表示连续观察到五次满足触发条件时，才触发收集；
连接参数：host、password、port、socket。
其他一些重要参数：
iterations：该参数指定 pt-stalk 在触发收集几次后退出，默认会一直运行。
run-time：触发收集后，该参数指定收集多长时间的数据，默认 30 秒。
sleep：该参数指定在触发收集后，sleep 多久后继续监控，默认 300 秒。
interval：指定状态参数的检查频率，判断是否需要触发收集，默认 1 秒。
dest：监控数据存放路径，默认为 /var/lib/pt-stalk。
retention-time ：监控数据保留时长，默认 30 天。
daemonize：以后台服务运行，默认不开启。
log：后台运行日志，默认为 /var/log/pt-stalk.log。
collect：触发发生时收集诊断数据，默认开启。
∘ collect-gdb：收集 GDB 堆栈跟踪，需要 gdb 工具。
∘ collect-strace：收集跟踪数据，需要 strace 工具。
∘ collect-tcpdump：收集 tcpdump 数据，需要 tcpdump 工具。
2、在数据库的最后一行添加
log=log.txt
代码
3、重启mysql数据库
4、去数据库数据目录 我的是(D:\MYSQL\data) 你会发现多了一个log.txt文件
我的是在C:\Documents and Settings\All Users\Application Data\MySQL\MySQL Server 5.5\data
测试：
1、对数据库操作
2、查看log.txt文件内容 如果发现有变化说明你就可以监控到mysql数据库的变化
数据库的查询 删除 更新 插入都可以查到
希望本篇文章可以帮助大家更快的二次开发 ^_^
日志文件类型概述：
1．
错误日志 记录启动、运行或停止mysqld时出现的问题。
My.ini配置信息：
#Enter a name for the error log file. Otherwise a default name will be used.
#log-error=d:/mysql_log_err.txt 参考技术B 可以考虑使用阿里的canal监控mysql的binlog，只是提个解决方案。
用python监控mysql数据库是否可写
监控数据库是否可写，如果你的监控脚本逻辑是，写入数据库成功后显示成功，反之显示不成功然后报警。那么难题来了，数据库真的无法写入了，你的监控脚本的写入命令也会被mysql hang住，一直卡在那里，直到天荒地老，根本无法实现报警。那换个思路，如果设置个超时时间，是不是更好。
#!/usr/bin/env python
# -*-coding:utf8-*-
import MySQLdb
import re
import smtplib
import json
from email.mime.text
import MIMEText
import sys
import time
import multiprocessing
reload(sys)
sys.setdefaultencoding(‘utf8‘)
def mysql_select(sql, pipe):
try:
conn = MySQLdb.connect(host=‘xxx.xxx.xxx.xxx‘,user=‘xxxx‘,passwd=‘xxxx‘,db=‘xxxx‘,port=xxxx,charset=‘utf8‘,connect_timeout=10)
cursor = conn.cursor()
cursor.execute(sql)
result = cursor.fetchall()
cursor.close()
conn.commit()
conn.close()
pipe.send(‘successful‘)
except Exception,e:
pipe.send("zabbix 数据库异常: %s" % e)
def query_with_timeout(sql):
pipe_out, pipe_in = multiprocessing.Pipe(False)
subproc = multiprocessing.Process(target=mysql_select,args=(sql, pipe_in))
subproc.start()
subproc.join(timeout=3)
if pipe_out.poll():
ex_c = pipe_out.recv()
else:
ex_c = "zabbix 数据库无法写入"
subproc.terminate()
#raise Exception("Query %r ran for >%r" % (sql, 5))
raise Exception(ex_c)
###
def se_mail(mail_result):
now_time = time.strftime(‘%Y-%m-%d %H:%M:%S‘,time.localtime(time.time()))
sys.setdefaultencoding(‘utf-8‘)
SUBJECT = "数据库监控"
TO = "[email protected]"
FROM = "[email protected]"
msg = MIMEText("""
<html>
<head>
</head>
<body>
<table width="800" border="1" cellspacing="0" cellpadding="4">
<tr>
<th bgcolor="#00FFFF" height="1" colspan="4" align="center" style="font-size:15px">中国区zabbix数据库监控</th>
</tr>
<td width="100px" style="font-size:15px" nowrap>告警区域</td>
<td style="font-size:15px">中国</td>
<tr>
</tr>
<td width="100px" style="font-size:15px" nowrap>主机名称</td>
<td style="font-size:15px">xxx.xxx.xxx.xxx</td>
<tr>
</tr>
<td width="100px" style="font-size:15px" nowrap>告警项目</td>
<td style="font-size:15px">zabbix数据库监控</td>
<tr>
</tr>
<td width="100px" style="font-size:15px" nowrap>告警级别</td>
<td bgcolor=red style="font-size:15px">严重</td>
<tr>
</tr>
<td width="100px" style="font-size:15px" nowrap>告警状态</td>
<td bgcolor=red style="font-size:15px">PROBLEM</td>
<tr>
</tr>
<td width="100px" style="font-size:15px" nowrap>详细内容</td>
<td style="font-size:15px">""" + mail_result + """</td>
<tr>
<td width="100px" style="font-size:15px" nowrap>发生时间</td>
<td style="font-size:15px">""" + now_time + """</td>
</tr>
</table>
</body>
</html>""","html","utf-8")
msg[‘Subject‘] = SUBJECT
msg[‘From‘]=FROM
msg[‘To‘]=TO
try:
server = smtplib.SMTP(‘localhost‘)
server.sendmail(FROM, TO, msg.as_string())
server.quit()
print "邮件发送成功！"
except Exception, e:
print "失败："+str(e)
###
if __name__ == ‘__main__‘:
#创建监控数据库连接，与是否可写，的监控表，下面是创建语句
#sql_user_info = """
#CREATE TABLE IF NOT EXISTS db_check_table (
#itemid INT(20),
#applicationid INT(20),
#hostid INT(20),
#name VARCHAR(255),
#du_name VARCHAR(255),
#item_name VARCHAR(255)
#)
#"""
insert_sql = """insert into db_check_table values (‘10211‘,‘13564‘,‘456789‘,‘test-172.5.6.7‘,‘cpu‘,‘cpu ldie‘)"""
try:
query_with_timeout(insert_sql)
except Exception,e:
mail_result = str(e)
if mail_result != "successful" :
se_mail(mail_result)本文出自 “杜云龙” 博客，请务必保留此出处http://duyunlong.blog.51cto.com/1054716/1921655
以上是关于如何实现监控mysql，并将有变动的数据表写入指定的文件夹？的主要内容，如果未能解决你的问题，请参考以下文章
python爬虫等获取实时数据+Flume+Kafka+Spark Streaming+mysql+Echarts实现数据动态实时采集分析展示
python爬虫等获取实时数据+Flume+Kafka+Spark Streaming+mysql+Echarts实现数据动态实时采集分析展示