中小企业Zabbix监控生产案例实践

Posted 2020-09-18

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了中小企业Zabbix监控生产案例实践相关的知识，希望对你有一定的参考价值。

一、Zabbix监控介绍

1、Zabbix的功能概述

1.1 zabbix是什么

Zabbix是一个企业级的、开源的、分布式的监控套件。

Zabbix可以对网络和服务进行监控。Zabbix利用灵活的告警机制，可实现微信

短信和邮件的自动报警。Zabbix利用存储的监控数据提供监控报告及实现图形化显示

1.2 zabbix特性

Zabbix是一个高度集成的网络监控套件，通过一个软件包即可提供如下特性

数据收集

可用性及性能检测
支持SNMP(trapping及polling)、IPMI、JMX监控
自定义检测
自定义间隔收集收据
server/proxy/agents实现分布监控环境

灵活的阀值定义

允许灵活地自定义故障阀值，Zabbix中称为触发器(trigger), 存储在后端数据库中

高级告警配置

可以自定义告警升级(escalation)、接收者及告警方式
告警信息可以配置并允许使用宏(macro)变量
通过远程命令实行自动化动作(action)

实时绘图

通过内置的绘图引擎实现监控数据实时绘图

扩展的图形化显示

允许自定义创建多监控项视图
网络拓扑(network maps)
自定义的面板(screen)和slide shows，并允许在dashboard页面显示
报告
高等级(商业)监控资源

历史数据存储

数据存储在数据库中
历史数据可配置
内置数据清理机制

配置简单

主机通过添加监控设备方式添加
一次配置，终生监控(除非调整或删除)
监控设备允许使用模板

模板使用

模板中可以添加组监控
模板允许继承

网络自动发现

自动发现网络设备
agent自动注册
自动发现文件系统、网卡设备、SNMP OID等

快速的web接口

web前端采用php编写
访问无障碍
你想怎么做就能做么做
审计日志

Zabbix API

Zabbix API提供程序级别的访问接口，第三方程序可以很快接入

权限系统

安全的权限认证
用户可以限制允许维护的列表

全特性、agent易扩展

在监控目标上部署
支持Linux及Windows

二进制守护进程

C开发，高性能，低内存消耗
易移植

1.3 Zabbix功能

监控拓扑图说明：

（1）可以通过微信、短信、邮件实现自动报警机制

（2）可以通过Web页面进行配置，监控状态查看

（3）可以通过SNMP协议实现对打印机、路由器、交换机的设备的监控

对主机可监控项包括：

CPU：CPU负载，CPU使用率

Memory：内存使用率，可交换内存/虚拟内存使用率

Network：网络传输、网络故障、丢包

Disk：磁盘使用率，磁盘I/O

Service：进程监控、界面服务、TCP端口连接，响应时间、DNS监控、NTP监控

Log：日志监控，文本日志，事件日志

File：文件监控

Other：性能计数器（仅限于Windows系统）

自定义报警机制：

如果故障在10分钟没有被解决，可以短信或邮件通知系统管理员

如果故障在15分钟没有被解决，可以短信或邮件通知运维人员

如果故障在30分钟没有被解决，可以短信或邮件通知经理

可以通过proxy代理服务器

代理Zabbix server搜集被监控的监控数据，并统一发送到Server端

2、zabbix程序架构

架构图如下：

2.1 Zabbix各组件的说明：

Zabbix Server

Zabbix Server为核心组件，用来获取agent存活状况及监控数据

所有的配置、统计、操作数据均通过Server进行存取到database

Zabbix database

所有的Zabbix数据均存储在数据库中

Web GUI

为了更简单的无障碍的访问Zabbix, 所以提供了web接口

该接口作为Zabbix Server的一部分，通常和server运行在同一台主机上

注意：如果采用SQLite作为数据库，web接口和Zabbix Server必须运行在同一台主机上

Proxy

Zabbix Proxy能够代替Zabbix Server进行性能及可用性数据采集

Proxy是Zabbix部署的可选组件。如果想分担单一Zabbix Server负载，推荐使用proxy

Agent

Zabbix agents 部署在目标监控机上并监控本地资源和应用，将收集数据汇报给Zabbix Server

监控流程：

通过zabbix监控数据流，并采取相应的措施。

首先要创建一个host，再创建一个item来搜集数据

通过item来创建触发器(trigger)

通过触发器(trigger)来创建一个动作（action）

2.2 Zabbix各组件结构图：

2.3 Zabbix相关术语：

二、项目规划架构方案

2.1 主机分组

交换机
nginx
Tomcat
Mysql

2.2 监控对象识别

使用SNMP监控交换机
使用IPMI监控服务器硬件
使用Agent监控服务器
使用JMX监控java
监控Nginx状态
监控Mysql
监控Web状态

三、Zabbix监控实践

3.1 SNMP监控网络设备

3.1.1交换机上开始SNMP

config t
snmp-server community public ro

3.1.2在zabbix上添加监控

设置SNMP interfaces

3.1.3关联监控模板

选择默认的Template-SNMP-device

（网络设备，可以监控交换机，路由器和防火墙等；模板里面item使用了宏，如下图

所以主机里面要设置宏，替代默认的模板中的宏，配置网络设备时，团体名命名为下面的名字

3.2 添加硬件监控（服务器IPMI）

经验：直接用IPMI监控，经常获取不到数据，模板自带的item也不可能不适合真正的服务器
推荐：使用自定义item，本地执行ipmitool命令监控获取数据，可以用来监控服务器风扇转速

3.3 添加系统监控

使用zabbix agent监控，略

3.4 添加应用监控

3.4.1 JAVA应用

使用JXM模式+java_gateway代理监控
java_gateway可以运行在任何服务器上，是一个单独的服务

1）安装zabbix-java-gateway

[[email protected] ~]# yum install -y zabbix-java-gateway

2）配置zabbix_java_gateway,其实什么都不用改

[[email protected] ~]# vim /etc/zannox/zabbix_java_gateway

3）启动zabbix_java_gateway,检查端口和进程

[[email protected] ~]# systemctl start zabbix-java-gateway
[[email protected] ~]# ps -ef|grep java
[[email protected] ~]# netstat -lntup|grep 10052

4）告诉zabbix-server服务器，javaGateway服务器的位置，重启server
5）开启jmx远程监控

[[email protected] ~]# vim /usr/local/tomcat/bin/catalina.sh
 CATALINA_OPTS="$CATALINA_OPTS -Dcom.sun.management.jmxremote
 -Dcom.sun.management.jmxremote.port=8888
 -Dcom.sun.management.jmxremote.ssl=false
 -Dcom.sun.management.jmxremote.authenticate=false
 -Djava.rmi.server.hostname=192.168.56.12"
[[email protected] ~]# /usr/local/tomcat/bin/shutdown.sh 
[[email protected] ~]# /usr/local/tomcat/bin/startup.sh

6）在zabbix-server上添加tomcat的主机

并连接Template-JMX-Generic模板，选择JMX interfaces

3.4.2 Nginx应用

1）开启nginx监控
在nginx配置文件中添加一个location，只允许本地访问

location /nginx_status {
         stub_status on;
         access_log off;
         allow 127.0.0.1;
         deny all
}

2）编写脚本来进行数据采集(此脚本可以用来监控redis，memcached，nginx，tcp-status)

[[email protected] ~]# vim redis-memcached-nginx-tcp.sh 
#!/bin/bash
############################################################
# $Name:         zabbix_linux_plugins.sh
# $Version:      v1.0
# $Function:     zabbix plugins
# $Description:  Monitor Linux Service Status
############################################################
tcp_status_fun(){
        TCP_STAT=$1
        #netstat -n | awk ‘/^tcp/ {++state[$NF]} END {for(key in state) print key,state[key]}‘ > /tmp/netstat.tmp
        ss -ant | awk ‘NR>1 {++s[$1]} END {for(k in s) print k,s[k]}‘ > /tmp/netstat.tmp
        TCP_STAT_VALUE=$(grep "$TCP_STAT" /tmp/netstat.tmp | cut -d ‘ ‘ -f2)
        if [ -z $TCP_STAT_VALUE ];then
                TCP_STAT_VALUE=0
        fi
        echo $TCP_STAT_VALUE
}
nginx_status_fun(){
        NGINX_PORT=$1
        NGINX_COMMAND=$2
        nginx_active(){
        /usr/bin/curl "http://127.0.0.1:"$NGINX_PORT"/nginx_status/" 2>/dev/null| grep ‘Active‘ | awk ‘{print $NF}‘
        }
        nginx_reading(){
        /usr/bin/curl "http://127.0.0.1:"$NGINX_PORT"/nginx_status/" 2>/dev/null| grep ‘Reading‘ | awk ‘{print $2}‘
       }
        nginx_writing(){
        /usr/bin/curl "http://127.0.0.1:"$NGINX_PORT"/nginx_status/" 2>/dev/null| grep ‘Writing‘ | awk ‘{print $4}‘
       }
        nginx_waiting(){
        /usr/bin/curl "http://127.0.0.1:"$NGINX_PORT"/nginx_status/" 2>/dev/null| grep ‘Waiting‘ | awk ‘{print $6}‘
       }
        nginx_accepts(){
        /usr/bin/curl "http://127.0.0.1:"$NGINX_PORT"/nginx_status/" 2>/dev/null| awk NR==3 | awk ‘{print $1}‘
       }
        nginx_handled(){
        /usr/bin/curl "http://127.0.0.1:"$NGINX_PORT"/nginx_status/" 2>/dev/null| awk NR==3 | awk ‘{print $2}‘
       }
        nginx_requests(){
        /usr/bin/curl "http://127.0.0.1:"$NGINX_PORT"/nginx_status/" 2>/dev/null| awk NR==3 | awk ‘{print $3}‘
       }
        case $NGINX_COMMAND in
                active)
                        nginx_active;
                        ;;
                reading)
                        nginx_reading;
                        ;;
                writing)
                        nginx_writing;
                        ;;
                waiting)
                        nginx_waiting;
                        ;;
                accepts)
                        nginx_accepts;
                        ;;
                handled)
                        nginx_handled;
                        ;;
                requests)
                        nginx_requests;
                esac 
}
memcached_status_fun(){
        M_PORT=$1
        M_COMMAND=$2
        echo -e "stats\\nquit" | nc 127.0.0.1 "$M_PORT" | grep "STAT $M_COMMAND " | awk ‘{print $3}‘
}
redis_status_fun(){
        R_PORT=$1
        R_COMMAND=$2
        (echo -en "INFO \\r\\n";sleep 1;) | nc 127.0.0.1 "$R_PORT" > /tmp/redis_"$R_PORT".tmp
        REDIS_STAT_VALUE=$(grep ""$R_COMMAND":" /tmp/redis_"$R_PORT".tmp | cut -d ‘:‘ -f2)
        echo $REDIS_STAT_VALUE
}
main(){
        case $1 in
                tcp_status)
                        tcp_status_fun $2;
                        ;;
                nginx_status)
                       nginx_status_fun $2 $3;
                        ;;
                memcached_status)                      memcached_status_fun $2 $3;
                        ;;
                redis_status)                       redis_status_fun $2 $3;
                        ;;
                *)
                        echo $"Usage: $0 {tcp_status key|memcached_status key|redis_status key|nginx_status key}"
        esac
}
main $1 $2 $3
[[email protected] ~]# chmod +x redis-memcached-nginx-tcp.sh

添加完测试脚本是否正常

[[email protected] ~]# ./redis-memcached-nginx-tcp.sh nginx_status 8080 active
101

3）设置用户自定义参数

[[email protected] ~]# vim redis-memcached-nginx-tcp.conf
UserParameter=linux_status[\\*],/etc/zabbix/zabbix_agetd.d/redis-memcached-nginx-tcp.sh "$1" "$2" "$3"

4）增加zabbix-agent配置，并通过zabbix-server测试
修改agent配置

[[email protected] ~]# Include=/etc/zabbix/zabbix_agentd.d/\\*.conf
[[email protected] ~]# service zabbix-agent restart

server端get测试

[[email protected] ~]# zabbix_get -s 192.168.11.11 -k linux_status[nginx_status,8080,active]
12

5）添加template，添加item，多次克隆添加不同item即可

6）创建图形
略

7）创建触发器
略

8）创建通用模板

略

3.4.3 使用percona监控插件监控Mysql应用

学习percona请移步percona-mysql，此原理是php连接mysql数据库，shell脚本获取数据，下面开始部署
1）在agent端安装模板

[[email protected] ~]# yum install percona-zabbix-templates

2）创建zabbix-agent的配置文件

[[email protected] ~]# mkdir -p /etc/zabbix_agentd.conf.d/
[[email protected] ~]# cp /var/lib/zabbix/percona/templates/userparameter_percona_mysql.conf /etc/zabbix_agentd.conf.d/userparameter_percona_mysql.conf

3）修改agent配置并重启

[[email protected] ~]# Include=/etc/zabbix/zabbix_agentd.d/\*.conf
[[email protected] ~]# service zabbix-agent restart

4）配置连接Mysql

<?php
$mysql_user = ‘zabbix‘;
$mysql_pass = ‘123456‘;<

5）测试脚本是否正常，确认密码争取，否则会连不上mysql

[[email protected] ~]# /var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh gg
405647

6）配置mysql

[client]
user = zabbix
password = 123456

7）使用zabbix测试脚本，返回0正常，1代表access denied

[[email protected] ~]# sudo -u zabbix -H /var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh running-slave
0

8）import模板，添加mysql主机关联此模板，添加trigger，添加Graph展示

以上是关于中小企业Zabbix监控生产案例实践的主要内容，如果未能解决你的问题，请参考以下文章

Zabbix监控平台生产环境案例

Zabbix中国峰会9月底召开，前沿技术多元案例实践操作特邀您来！

Zabbix中小型企业Zabbix监控实战之告警大全

实践案例：Zabbix通过Proxy被动模式代理跨网段监控Linux主机及应用

Zabbix案例实践|Zabbix屏蔽告警

实战案例：Zabbix 对 Nginx的监控