有python开发的监控工具吗

Posted 2023-05-18

参考技术A 在公司里做的一个接口系统，主要是对接第三方的系统接口，所以，这个系统里会和很多其他公司的项目交互。随之而来一个很蛋疼的问题，这么多公司的接口，不同公司接口的稳定性差别很大，访问量大的时候，有的不怎么行的接口就各种出错了。
这个接口系统刚刚开发不久，整个系统中，处于比较边缘的位置，不像其他项目，有日志库，还有短信告警，一旦出问题，很多情况下都是用户反馈回来，所以，我的想法是，拿起python，为这个项目写一个监控。如果在调用某个第三方接口的过程中，大量出错了，说明这个接口有有问题了，就可以更快的采取措施。
项目的也是有日志库的，所有的info，error日志都是每隔一分钟扫描入库，日志库是用的mysql，表里有几个特别重要的字段：
有日志库，就不用自己去线上环境扫日志分析了，直接从日志库入手。由于日志库在线上时每隔1分钟扫，那我就去日志库每隔2分钟扫一次，如果扫到有一定数量的error日志就报警，如果只有一两条错误就可以无视了，也就是短时间爆发大量错误日志，就可以断定系统有问题了。报警方式就用发送邮件，所以，需要做下面几件事情：
1. 操作MySql。
2. 发送邮件。
3. 定时任务。
4. 日志。
5. 运行脚本。
明确了以上几件事情，就可以动手了。
操作数据库
使用MySQLdb这个驱动，直接操作数据库，主要就是查询操作。
获取数据库的连接：

def get_con():
host = "127.0.0.1"
port = 3306
logsdb = "logsdb"
user = "root"
password = "never tell you"
con = MySQLdb.connect(host=host, user=user, passwd=password, db=logsdb, port=port, charset="utf8")
return con

从日志库里获取数据，获取当前时间之前2分钟的数据，首先，根据当前时间进行计算一下时间。之前，计算有问题，现在已经修改。

def calculate_time():

now = time.mktime(datetime.now().timetuple())-60*2
result = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(now))
return result

然后，根据时间和日志级别去日志库查询数据

def get_data():
select_time = calculate_time()
logger.info("select time:"+select_time)
sql = "select file_name,message from logsdb.app_logs_record " \
"where log_time >"+"'"+select_time+"'" \
"and level="+"'ERROR'" \
"order by log_time desc"
conn = get_con()

cursor = conn.cursor()
cursor.execute(sql)
results = cursor.fetchall()

cursor.close()
conn.close()

return results

发送邮件
使用python发送邮件比较简单，使用标准库smtplib就可以
这里使用163邮箱进行发送，你可以使用其他邮箱或者企业邮箱都行，不过host和port要设置正确。

def send_email(content):

sender = "[e-mail]"
receiver = ["[e-mail]", "[e-mail]"]
host = 'smtp.163.com'
port = 465
msg = MIMEText(content)
msg['From'] = "[e-mail]"
msg['To'] = "[e-mail],[e-mail]"
msg['Subject'] = "system error warning"

try:
smtp = smtplib.SMTP_SSL(host, port)
smtp.login(sender, '123456')
smtp.sendmail(sender, receiver, msg.as_string())
logger.info("send email success")
except Exception, e:
logger.error(e)

定时任务
使用一个单独的线程，每2分钟扫描一次，如果ERROR级别的日志条数超过5条，就发邮件通知。

def task():
while True:
logger.info("monitor running")

results = get_data()
if results is not None and len(results) > 5:
content = "recharge error："
logger.info("a lot of error,so send mail")
for r in results:
content += r[1]+'\n'
send_email(content)
sleep(2*60)

日志
为这个小小的脚本配置一下日志log.py，让日志可以输出到文件和控制台中。
# coding=utf-8
import logging

logger = logging.getLogger('mylogger')
logger.setLevel(logging.DEBUG)

fh = logging.FileHandler('monitor.log')
fh.setLevel(logging.INFO)

ch = logging.StreamHandler()
ch.setLevel(logging.INFO)

formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
fh.setFormatter(formatter)
ch.setFormatter(formatter)

logger.addHandler(fh)
logger.addHandler(ch)

所以，最后，这个监控小程序就是这样的app_monitor.py
# coding=utf-8
import threading
import MySQLdb
from datetime import datetime
import time
import smtplib
from email.mime.text import MIMEText
from log import logger

def get_con():
host = "127.0.0.1"
port = 3306
logsdb = "logsdb"
user = "root"
password = "never tell you"
con = MySQLdb.connect(host=host, user=user, passwd=password, db=logsdb, port=port, charset="utf8")
return con

def calculate_time():

now = time.mktime(datetime.now().timetuple())-60*2
result = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(now))
return result

def get_data():
select_time = calculate_time()
logger.info("select time:"+select_time)
sql = "select file_name,message from logsdb.app_logs_record " \
"where log_time >"+"'"+select_time+"'" \
"and level="+"'ERROR'" \
"order by log_time desc"
conn = get_con()

cursor = conn.cursor()
cursor.execute(sql)
results = cursor.fetchall()

cursor.close()
conn.close()

return results

def send_email(content):

sender = "[e-mail]"
receiver = ["[e-mail]", "[e-mail]"]
host = 'smtp.163.com'
port = 465
msg = MIMEText(content)
msg['From'] = "[e-mail]"
msg['To'] = "[e-mail],[e-mail]"
msg['Subject'] = "system error warning"

try:
smtp = smtplib.SMTP_SSL(host, port)
smtp.login(sender, '123456')
smtp.sendmail(sender, receiver, msg.as_string())
logger.info("send email success")
except Exception, e:
logger.error(e)

def task():
while True:
logger.info("monitor running")
results = get_data()
if results is not None and len(results) > 5:
content = "recharge error："
logger.info("a lot of error,so send mail")
for r in results:
content += r[1]+'\n'
send_email(content)
time.sleep(2*60)

def run_monitor():
monitor = threading.Thread(target=task)
monitor.start()

if __name__ == "__main__":
run_monitor()

运行脚本
脚本在服务器上运行，使用supervisor进行管理。
在服务器（centos6）上安装supervisor，然后在/etc/supervisor.conf中加入一下配置：

复制代码代码如下:
[program:app-monitor]
command = python /root/monitor/app_monitor.py
directory = /root/monitor
user = root

然后在终端中运行supervisord启动supervisor。
在终端中运行supervisorctl，进入shell，运行status查看脚本的运行状态。
总结
这个小监控思路很清晰，还可以继续修改，比如：监控特定的接口，发送短信通知等等。
因为有日志库，就少了去线上正式环境扫描日志的麻烦，所以，如果没有日志库，就要自己上线上环境扫描，在正式线上环境一定要小心哇～

Xamarin 是相机监控应用程序的完美工具吗？ [关闭]

【中文标题】Xamarin 是相机监控应用程序的完美工具吗？ [关闭]

【英文标题】：Is Xamarin perfect tool for a Camera Surveillance application? [closed]

【发布时间】：2016-04-06 10:40:15

【问题描述】：

我在原生平台和工具的 iOS 应用程序开发方面有经验。我需要将现有的本机应用程序移植到 Xamarin 平台，这样只需为多个平台维护单个代码库。我现有的应用程序具有以下功能。

使用 AFNetworking 库的 API 调用。 使用本地缓存数据 核心数据，NSIncremental 存储。实施核心数据迁移 支持版本控制。复杂的映射也是使用多对多完成的 关系，一对多关系等。 异步和 同步网络调用。 使用表格视图控制器列出项目 与搜索控制器。分页在这些视图中实现 控制器。 应用程序中的一个视图是使用 打开 GL。

能否将所有这些功能完美移植到 Xamarin。 Xamarin 是否为这些功能提供 api？任何帮助将不胜感激。

【参考方案1】：

首先，让我告诉您，Xamarin 并不是针对所有三个平台的单一代码库，而是您可以在三个平台之间共享大量代码。但这取决于每个应用程序。

据我所知，AFNetworking 提供部分支持。这是它的回购：https://github.com/paulcbetts/AFNetworking-Xamarin。但是，如果您打算将您的应用程序移植到 xamarin/ 跨平台。我会推荐使用 C# 变体，看看 Modernhttpclient 是否对你有帮助？

本地数据缓存得到很好的支持 https://www.nuget.org/packages/SimpleStorage/ https://github.com/akavache/Akavache

异步编程是 C#/xamarin 的优势之一。 https://developer.xamarin.com/guides/cross-platform/advanced/async_support_overview/

支持 TableViewController 和分页

希望它可以帮助您开始移植您的应用程序。

【参考方案2】：

如果您没有使用任何第三方库，那么将此应用程序移植到 Xamarin 应该不会有任何问题。

在开始之前，我建议您考虑一下可以在核心项目中封装并在 iOS 和 Android 项目中继承的任何功能，以便最大限度地重复使用代码。提前考虑会为您节省大量时间。

在使用表格和集合视图时也要小心。我之前遇到过一个解决方案，它占用了大量内存，因为表格视图单元格没有被正确释放。

【参考方案3】：

考虑到您在原生平台和工具中具有 iOS 应用程序开发经验。将会有一个巨大的学习曲线。

从 Android Studio 转移到 Xamarin(VS2015) 对我来说是一项忙碌的工作。

但是使用 Xamarin 为多个设备维护更少的代码确实很有趣。

这个github link here回答了你的第一个要求

异步和同步网络调用很容易处理，因为我在我的项目中使用它，所以这不会成为问题。

快乐编码