企业监控利器nagios应用续集

Posted 2021-01-17

上篇讲到了nagios服务端和客户端的安装，本篇继续将nagios的配置、出图及插件开发。

1.配置server端nagios监控服务

nagios服务端安装后，安装目录是/usr/local/nagios，主配置文件是/usr/local/nagios/etc/nagios.cfg，主机配置等相关配置文件以.cfg结尾。
主配置文件中定义一些需要监控的配置，数据采集等，cgi.cfg文件定义一些如页面刷新时间，用户访问权限控制等。
配置主配置文件nagios.cfg
找到cfg_file部分，进行设置
vim /usr/local/nagios/etc/nagios.cfg +34
添加如下内容
cfg_file=/usr/local/nagios/etc/objects/hosts.cfg
cfg_file=/usr/local/nagios/etc/objects/services.cfg
cfg_dir=/usr/local/nagios/etc/objects/services -------------------------->>配置目录，则目录下所有.cfg的文件都可以被nagios识别，比较方便。

去掉localhost.cfg配置
添加hosts和services文件及目录文件
cd /usr/local/nagios/etc/objects/
head -51 localhost.cfg >hosts.cfg
touch services.cfg
mkdir /usr/local/nagios/etc/objects/services
chown -R nagios.nagios *

objects目录下文件::
commands.cfg #命令定义配置文件，里面定义的命令可以被其他文件引用
contacts.cfg #联系人和联系人组配置文件
localhost.cfg #监控本地机器的配置文件
printer.cfg #监控打印机的一个事例配置文件（默认未启用）
switch.cfg #监控路由器的一个事例配置文件（默认未启用）
templates.cfg #模板配置文件，在此可以定义模板，在其他文件中引用
timeperiods.cfg #定义监控时间段的配置文件
windows.cfg #监控Windows的一个事例配置文件（默认未启用）

hosts.cfg生产配置

define host{
name linux-server --监控linux主机 --------------------------可以在模板中templates.cfg选择配置
use generic-host --引用其它主机的配置
check_period 24x7 --监控主机的时间段
check_interval 5 --检查时间间隔
retry_interval 1 --重试检查时间间隔
max_check_attempts 2 --检查多少次才认为是宕机
check_command check-host-alive --检查主机状态的命令(check-host-alive在commands.cfg文件中定义)
notification_period 24X7 --主机故障时报警时间
notification_interval 3 --当主机一直故障每隔3分钟发送一次报警
notification_options d,u,r --定义主机在什么状态时发送告警
process_perf_data 1 ----------收集数据用作出图
contact_groups admins --指定联系人组
register 0
}
本次配置信息如下：共三台主机。
主机名 IP 用户
nagios-client1 192.168.132.16 客户端
nagios-client2 192.168.132.14 客户端
nagios-server 192.168.132.20 nagios服务端
vim hosts.cfg
define host{
use linux-server
host_name 016-nagios-client1
alias 016-nagios-client1
address 192.168.132.16
}
define host{
use linux-server
host_name 014-nagios-client2
alias 014-nagios-client2
address 192.168.132.14
}

配置文件里加了两台主机的配置。
定义一个主机组 ----------------------------》配置主机组，可以批量管理主机组中的主机
define hostgroup{
hostgroup_name linux-servers
alias Linux Servers
members 016-nagios-client1,014-nagios-client2
}
services.cfg配置
服务配置与主机配置类似。
配置样例
define service{
use generic-service
host_name 016-nagios-client1 ------------------------可以添加多台主机
service_description check_url
check_command check_url
max_check_attempts 3
normal_check_interval 2
retry_check_interval 2
check_period 24x7
notification_period 24x7
notification_interval 60
notification_options w,u,c,r
contact_groups admins
process_perf_data 1
}

如果要通过nrpe监控客户端的资源，还需要在服务端的commands.cfg中定义
添加如下内容nrpe定义
#‘check_nrpe‘ command definition
define command{
command_name check_nrpe
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c $ARG1$
}
编辑cgi配置文件，进行授权。由于之前创建web登陆用户为tuwei，没有权限查看主机及服务信息。
可以编辑cgi.cfg文件将nagiosadmin用户替换为tuwei，或者在后面加上tuwei，用逗号隔开。
:g/nagiosadmin/s//tuwei/g
启动nagios服务
登陆web界面查看services和hosts信息

2.nagios模板并开发脚本批量配置模板

在生产环境中可以将主机和服务配置简写，相关配置放在模板中，可以实现批量模板配置。
脚本如下
#!/bin/bash
##############################################################
#File Name: template.sh
#Version: V1.0
#Author: tuwei
#Blog Site: http://blog.51cto.com/tuwei
#Created Time : 2018-11-01 19:38:18
#Environment: CentOS 6.9 Kernal 2.6.32
##############################################################
####################template configure################
for SERVICENAME in load mem disk iostat swap
do
cat >>/usr/local/nagios/etc/objects/templates.cfg << EOF
define service{

    name                            generic-$SERVICENAME-service    
active_checks_enabled           1 
service_description             $SERVICENAME
check_command     check_nrpe!check_$SERVICENAME
passive_checks_enabled          1               
parallelize_check               1               
obsess_over_service             1               
check_freshness                 0               
notifications_enabled           1               
event_handler_enabled           1               
flap_detection_enabled          1               
failure_prediction_enabled      1               
retain_status_information       1               
retain_nonstatus_information    1               
is_volatile                     0               
 register                       0
max_check_attempts              8               
normal_check_interval           3                       
retry_check_interval            2                       
check_period                    24x7
notification_period             24x7                
notification_interval           60       
notification_options            w,u,c,r         
contact_groups                  admins
process_perf_data               1

}
EOF
done

创建服务分组
语法如下
define servicegroup {
servicegroup_name MEM Useage
alias linux servers
members 016-nagios-client1, MEM Useage, 014-nagios-client2, MEM Useage

}
修改模板中关于mem，将描述改为MEM Useage。在services.cfg文件中添加服务组信息。

在生产环境中可以根据业务进行服务分组。
下图是我搭建后分组图。

3.nagios图形监控管理（服务端）

Pnp安装图形监控曲线
pnp网站：www.pnp4nagios.org
安装pnp软件依赖包
yum -y install cairo pango zlib zlib-devel freetype freetype-devel gd gd-devel
安装libart_lgpl和rrdtool，这里以编译安装为例。
tar xf libart_lgpl-2.3.17.tar.gz
cd libart_lgpl-2.3.17
./configure
make && make install
cp -r /usr/local/include/libart-2.0/ /usr/include/

tar xf rrdtool-1.2.14.tar.gz
cd rrdtool-1.2.14
./configure --prefix=/usr/local/rrdtool --disable-python --disable-tcl
make
make install
[[email protected] rrdtool-1.2.14]# ls -l /usr/local/rrdtool/bin
total 116
-rwxr-xr-x 1 root root 55641 Oct 2 18:36 rrdcgi
-rwxr-xr-x 1 root root 6727 Oct 2 18:36 rrdtool
-rwxr-xr-x 1 root root 52635 Oct 2 18:36 rrdupdate

安装成功
安装pnp
tar xf pnp-0.4.14.tar.gz
cd pnp-0.4.14
./configure --with-rrdtool=/usr/local/rrdtool/bin/rrdtool
--with-perfdata-dir=/usr/local/nagios/share/perfdata
make all
make install
make install-config
make install-init
查看。
[[email protected] pnp-0.4.14]# ll /usr/local/nagios/libexec/|grep process
-rwxr-xr-x 1 nagios nagios 31826 Oct 2 19:33 process_perfdata.pl
表示安装成功
nagios出图基本配置
编辑nagios配置文件
备份cp nagios.cfg nagios.cfg.ori
vim nagios.cfg +835
将process_performance_data=0 改为process_performance_data=1
sed -i ‘s#process_performance_data=0#process_performance_data=1#‘ nagios.cfg
将如下两行的#去掉
#host_perfdata_command=process-host-perfdata
#service_perfdata_command=process-service-perfdata
修改command配置文件，添加收集数据配置。
删除里面关于process-service-perfdata的配置并添加以下内容

define command{
command_name process-host-perfdata
command_line $USER1$/process_perfdata.pl
}

define command{
command_name process-service-perfdata
command_line $USER1$/process_perfdata.pl
}

模板文件中添加process_perf_data 1 参数。

检查语法并reload nagios服务。
查看http://192.168.132.20/nagios/pnp/index.php

整合pnp url链接到nagios图形显示界面中
在hosts.cfg中添加或者在模板中添加（主机出图）
action_url /nagios/pnp/index.php?host=$HOSTNAME$

服务出图，在模板中添加
action_url /nagios/pnp/index.php?host=$HOSTNAME$&srv=$SERVICEDESC$
重启nagios
出图数据存放的路径
[[email protected] tools]# ll /usr/local/nagios/share/perfdata/
total 8
drwxr-xr-x 2 nagios nagios 4096 Oct 2 22:49 014-nagios-client2
drwxr-xr-x 2 nagios nagios 4096 Oct 2 22:49 016-nagios-client1

出图是为了将历史记录保留，可以预判未来的趋势。在生产环境中比较重要。

4. nagios插件开发

安装nagios-plugins后会生成一些nagios插件，nagios仅仅是一个监控平台。要监控
主机及服务需要配置或调用插件或程序文件才能完成。
虽然有一些插件软件，但生产环境中我们想监控的一些服务。nagios插件没有。，如nfs状态。负载均衡RS的VIP等等。
编写nagios插件说明：
nagios插件开发原理
Nagios插件是Nagios提供的一种可通过扩展方式部署的组件，该插件支持Java、CC++、php等多种语言开发，操作员通过修改配置文件和相应参数，就能很方便地将该插件集成到Nagios中，实现对目标系统的监控。
Nagios插件程序可以提供两个返回值，一个是插件的退出状态码，一个是插件在控制台打印的第一行数据。退出状态码可以被Nagios主程序作为判断被监控系统服务状态的依据，控制台打印的第一行数据可以被Nagios主程序作为被监控系统服务状态的补充说明。

以上两点很重要：1，给返回状态码 2，打印状态说明。
相关状态可以从如下文件中看到
[[email protected] libexec]# head -7 utils.sh
#! /bin/sh

STATE_OK=0
STATE_WARNING=1
STATE_CRITICAL=2
STATE_UNKNOWN=3
STATE_DEPENDENT=4 --不常用
nagios插件开发语言：

不限制开发语言，只要该插件能被nagios调用获取到相应服务数据就行。如能在命令行执行输出结果也可以，常用的插件语言有shell，perl，python，php，c/c++.
使用shell开发nagios插件
变量测试
[[email protected] tools]# basename /etc/inittab ---脚本名称
inittab
[[email protected] tools]# dirname /etc/inittab 路径
/etc

开发插件需要用到的：
echo $0
PROGNAME=basename $0
PROGPATH=dirname $0
echo $PROGNAME
echo $PROGPATH
[[email protected] scripts]# sh /server/scripts/a.sh
/server/scripts/a.sh
a.sh
/server/scripts

监控url插件。
[[email protected] libexec]# cat check_url.sh
#!/bin/bash
#############################################################
PROGNAME=basename $0
PROGPATH=dirname $0
. $PROGPATH/utils.sh
if wget -T 10 --spider http://192.168.132.16>/dev/null 2>&1
then
echo ‘HTTP OK: HTTP/1.1 200 OK ‘
exit $STATE_OK -------简单写法exit 0
else
echo "HTTP is not ok,http_code:curl -I -m 10 -o /dev/null -s -w %{http_code} 192.1132.16"
exit $STATE_CRITICAL--------------简单写法 exit 2
fi
执行脚本，注意要用全路径。
[[email protected] libexec]# sh /usr/local/nagios/libexec/check_url.sh
HTTP OK: HTTP/1.1 200 OK
将192.168.132.16 http服务关闭。
[[email protected] libexec]# sh /usr/local/nagios/libexec/check_url.sh
HTTP is not ok,http_code:000
将该脚本修改为通用脚本。将IP修改为变量，并判断参数个数。
如何使用插件
chmod 755 check_url.sh
chown nagios.nagios check_url.sh
在command配置文件中定义

define command{
command_name check_url
command_line $USER1$/check_url http://blog.tuwei.org/test.html
}
在services.cfg中添加url服务

如果是要开发如监控密码文件，则需要在监控端开发，不是服务端。
#!/bin/sh
if [ md5sum -c /mnt/ps|grep OK|wc -l -eq 1 ];then
echo "/etc/passwd is ok"
exit 0
else
echo "/etc/passwd FAILED"
exit 2
fi
监控mysql，利用自带的mysql插件查询
[[email protected] nagios]# /usr/local/nagios/libexec/check_mysql -H 192.168.132.16 -urep -prep99
Uptime: 149369 Threads: 2 Questions: 7 Slow queries: 0 Opens: 16 Flush tables: 1 Open tables: 4 Queries per second avg: 0.0

服务端开发插件简介：

1. 确认插件[[email protected] objects]# ll /usr/local/nagios/libexec/check_http
   -rwxr-xr-x 1 nagios nagios 520606 Sep 28 21:23 /usr/local/nagios/libexec/check_http 需要有执行权限
2. 确实command.cfg配置中是否定义了上述插件
3. 编辑服务配置文件，定义相关服务，使用上述已经定义的插件命令
4. 检查语法
5. 加载配置

客户端开发插件：

1. 确认开发插件命令是否存在/usr/local/nagios/libexec，需要有执行权限
2. 确认/usr/local/nagios/etc/nrpe.cfg配置文件中是否定义
3. 重启nrpe服务
4. 到服务器端编辑服务配置文件，定义相关服务，使用上述已经定义的插件命令
5. 检查语法
6. 加载配置