Python监控远程主机的实时数据

Posted Day-3

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python监控远程主机的实时数据相关的知识,希望对你有一定的参考价值。

0 简述

实时监控应用程序,使用Python的Socket库和相应的第三方库来监控远程主机的实时数据,比如CPU使用率、内存使用率、网络带宽等信息。可以允许多个用户同时访问服务端。
注:部分指令响应较慢,请耐心等待。

1 程序说明文档

1.1 服务端

本程序为一个基于TCP协议的服务端程序,可以接收客户端发送的指令并执行相应的操作,最终将操作结果返回给客户端。程序运行在localhost(即本机)的8888端口。
主要功能及指令:
• 获取CPU使用率:指令“cpu”
• 获取内存使用率:指令“memory”
• 获取网络带宽信息:指令“network”
• 获取当前登录用户:指令“user”
• 获取系统负载情况:指令“loadavg”
• 获取当前时间:指令“time”
• 获取进程列表:指令“process”
• 获取系统信息:指令“system”
• 获取网络连接列表:指令“connection”
• 获取GPU使用情况:指令“gpu”
• 获取磁盘使用情况:指令“disk”
对于不同的指令,程序采用不同的库函数进行数据获取和处理,具体如下:
• 对于指令“cpu”,使用psutil库获取CPU使用率。
• 对于指令“memory”,使用psutil库获取内存使用率。
• 对于指令“network”,使用speedtest-cli库获取网络带宽信息。
• 对于指令“user”,使用psutil库获取当前登录用户。
• 对于指令“loadavg”,使用os库获取系统负载情况。
• 对于指令“time”,使用datetime库获取当前时间。
• 对于指令“process”,使用psutil库获取进程列表。程序将进程按照内存使用量排序,只返回前10个进程。
• 对于指令“system”,使用platform库获取系统信息。
• 对于指令“connection”,使用psutil库获取网络连接列表。程序将连接按照进程ID排序,只返回前10个连接。
• 对于指令“gpu”,使用nvidia-smi工具获取GPU使用情况。
• 对于指令“disk”,使用psutil库获取磁盘使用情况。
每个指令的处理结果均以字符串形式返回给客户端。在处理指令时,程序会判断接收到的数据是否为空。如果为空,则断开连接并关闭客户端套接字。程序中的handle_client函数是负责与单个客户端通信的线程函数,每个客户端连接都会启动一个线程。

1.2 客户端

该程序是一个简单的TCP客户端,可以连接到一个服务器并向其发送请求,然后等待服务器的响应。程序使用Python的socket模块来创建TCP套接字,并使用connect方法连接到一个服务器地址。程序通过循环不断地等待用户输入请求数据类型,然后将请求数据类型编码成UTF-8格式并使用sendall方法将其发送给服务器。接着程序等待服务器响应,并将响应数据解码成UTF-8格式并打印出来。最后,程序关闭客户端套接字。
程序的主要流程如下:
1. 导入socket模块。
2. 创建一个TCP套接字对象。
3. 连接到指定的服务器地址。
4. 循环等待用户输入请求数据类型。
5. 将请求数据类型编码成UTF-8格式并发送给服务器。
6. 等待服务器响应并接收响应数据。
7. 将响应数据解码成UTF-8格式并打印出来。
8. 关闭客户端套接字。
该程序可以用于与提供特定数据类型的服务器进行通信。用户可以输入不同的请求数据类型来获取不同类型的数据。服务器将根据请求类型返回相应的数据。程序的运行依赖于服务器的可用性和响应速度。如果服务器无法响应,程序将一直等待,直到服务器响应或者程序被中断。

2 代码

服务端

import os
import socket
import subprocess
import threading
from datetime import datetime
from sys import platform

import psutil
from speedtest import Speedtest

# 创建TCP套接字
server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

# 绑定IP和端口
server_address = ('localhost', 8888)
server_socket.bind(server_address)

# 监听连接请求
server_socket.listen(5)


def handle_client(client_socket, client_address):
    while True:
        # 接收客户端发送的数据
        data = client_socket.recv(1024)

        # 如果接收到空数据,则断开连接
        if not data:
            client_socket.close()
            print(f"Connection with client_address closed")
            break

        # 处理接收到的数据
        request = data.decode('utf-8')
        if request == 'cpu':
            # 使用psutil库获取CPU使用率
            cpu_percent = psutil.cpu_percent(interval=1)
            response_data = f'CPU使用率:cpu_percent%'.encode('utf-8')
        elif request == 'memory':
            # 使用psutil库获取内存使用率
            memory_percent = psutil.virtual_memory().percent
            response_data = f'内存使用率:memory_percent%'.encode('utf-8')
        elif request == 'network':
            # 使用speedtest-cli库获取网络带宽信息
            st = Speedtest()
            download_speed = st.download()
            upload_speed = st.upload()
            response_data = f'下载速度:download_speed / 1000000Mbps,上传速度:upload_speed / 1000000Mbps'.encode('utf-8')
        elif request == 'user':
            # 使用psutil库获取当前登录用户
            username = psutil.users()[0].name
            response_data = f'当前登录用户:username'.encode('utf-8')
        elif request == 'loadavg':
            # 使用os库获取系统负载情况
            load_avg = os.getloadavg()
            response_data = f'系统负载情况:load_avg'.encode('utf-8')
        elif request == 'time':
            # 使用datetime库获取当前时间
            current_time = datetime.datetime.now()
            response_data = f'当前时间:current_time'.encode('utf-8')
        elif request == 'process':
            # 使用psutil库获取进程列表
            process_list = []
            for process in psutil.process_iter(['pid', 'name', 'memory_info']):
                try:
                    process_list.append((process.info['pid'], process.info['name'], process.info['memory_info'].rss))
                except (psutil.AccessDenied, psutil.NoSuchProcess):
                    pass
            process_list.sort(key=lambda x: x[2], reverse=True)
            response_data = ''
            for i, (pid, name, memory) in enumerate(process_list[:10]):
                response_data += f'i + 1. 进程名称:name,进程ID:pid,占用内存:memory / 1024 / 1024:.2fMB\\n'
            response_data = response_data.encode('utf-8')
        elif request == 'system':
            # 使用platform库获取系统信息
            system_info = f'操作系统:platform.system() platform.release()\\n处理器:platform.processor()\\nPython版本:platform.python_version()'
            response_data = system_info.encode('utf-8')
        elif request == 'connection':
            # 使用psutil库获取网络连接列表
            conn_list = []
            for conn in psutil.net_connections():
                if conn.status == psutil.CONN_ESTABLISHED:
                    conn_list.append((conn.laddr.ip, conn.laddr.port, conn.raddr.ip, conn.raddr.port, conn.pid))
            conn_list.sort(key=lambda x: x[4])
            response_data = ''
            for i, (laddr_ip, laddr_port, raddr_ip, raddr_port, pid) in enumerate(conn_list[:10]):
                response_data += f'i + 1. 本地地址:laddr_ip:laddr_port,远程地址:raddr_ip:raddr_port,进程ID:pid\\n'
            response_data = response_data.encode('utf-8')
        elif request == 'disk':
            # 使用psutil库获取磁盘使用情况
            disk_usage = psutil.disk_usage('/')
            disk_info = f'磁盘总容量:disk_usage.total / 1024 / 1024 / 1024:.2fGB,已用容量:disk_usage.used / 1024 / 1024 / 1024:.2fGB,可用容量:disk_usage.free / 1024 / 1024 / 1024:.2fGB'
            response_data = disk_info.encode('utf-8')
        elif request == 'load':
            # 使用psutil库获取系统负载
            load_avg = psutil.getloadavg()
            load_info = f'1分钟内平均负载:load_avg[0]:.2f,5分钟内平均负载:load_avg[1]:.2f,15分钟内平均负载:load_avg[2]:.2f'
            response_data = load_info.encode('utf-8')
        elif request == 'thread':
            # 使用psutil库获取进程线程数
            thread_info = f'当前进程线程数:psutil.Process().num_threads()'
            response_data = thread_info.encode('utf-8')
        else:
            response_data = b'Invalid request'

        # 发送响应数据
        client_socket.sendall(response_data)


# 接收多个客户端连接
while True:
    client_socket, client_address = server_socket.accept()
    print(f"New connection from client_address")
    # 创建新线程处理客户端连接
    client_thread = threading.Thread(target=handle_client, args=(client_socket, client_address))
    client_thread.start()

客户端

import socket

# 创建TCP套接字
client_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

# 连接服务器
server_address = ('localhost', 8888)
client_socket.connect(server_address)

while True:
    # 发送请求数据给服务器
    request = input("请输入要请求的数据类型(cpu/memory/network/user/loadavg/time/process/system/connection/disk/load/thread):")
    client_socket.sendall(request.encode('utf-8'))

    # 接收服务器响应数据
    response_data = client_socket.recv(1024)

    # 处理接收到的数据
    response = response_data.decode('utf-8')
    print(response)

# 关闭客户端套接字
client_socket.close()

配置rsync同步+inotify实时监控

rsync简介
Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。Rsync使用所谓的“Rsync算法”来使本地和远 程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。

实验环境
两台Centos7虚拟机互联互通,
一台作为rsync源服务器:192.168.37.129
一台作为rsync发起端:192.168.37.134
yum仓库已创建
inotify软件包:http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
此实验将inotify软件包放在//192.168.37.1/SHARE文件中

实验过程:
一、配置rsync源服务器

1、查看rsync包是否安装
技术分享图片

2、vim /etc/rsyncd.conf #如图所示编辑主配置文件
技术分享图片

3、创建新目录,添加用户、密码,并设置权限
         vim /etc/rsyncd_users.db
         chmod 600 /etc/rsyncd_users.db

技术分享图片

4、搭建Apache服务,并修改html文件权限
      yum install httpd -y       
     chmod 777 /var/www/html  
5、关闭防火墙,关闭安全×××,启动同步服务
     service iptables stop       
      setenforce 0                   
      rsync --daemon          

二、发起端配置

6、搭建Apache服务,并修改html文件权限
      yum install httpd -y    
      chmod 777 /var/www/html          
7、设置免交互文件目录
     vim /etc/server.pass       
      abc123                           #填写jerry用户密码
     chmod 600 /etc/server.pass
8、 service iptables stop       #关闭防火墙
      setenforce 0                   #关闭安全×××
9、验证免交互进行同步
rsync -azv --delete --password-file=/etc/server.pass [email protected]::wwwroot /var/www/html

技术分享图片

三、发起端安装inotify服务

 10、编辑配置文件
       vim /etc/sysctl.conf

技术分享图片
sysctl -p #开启配置

11、共享文件挂载使用
技术分享图片

12、安装编译环境及inotify包
        yum install gcc gcc-gcc++ 
        ./configure
         make &&make install

技术分享图片

13、设置实时监控的脚本
      vim /opt/inotify.sh

技术分享图片

14、执行脚本,进行验证
      chmod +x /opt/inotify.sh

技术分享图片
到源服务器输入内容
技术分享图片
去发起端目录下查看是否同步
技术分享图片

 已实现实时监控并进行同步!

以上是关于Python监控远程主机的实时数据的主要内容,如果未能解决你的问题,请参考以下文章

基于邮件系统的远程实时监控系统的实现 Python版

python实现系统公网和私网流量监控

python功能笔记——远程监控

配置rsync同步+inotify实时监控

性能测试 基于Python结合InfluxDB及Grafana图表实时监控Android系统和应用进程

监控聚币网行情 并实时发送到微信