syslog相关内容介绍

Posted 2020-10-17 孤独的海浪

syslog相关内容介绍

简介： 　　

　　syslog server 从网络设备接收系统日志消息，并实时显示它们。

---

系统日志消息可以使用以下事件进行处理：

　　1、在滚动窗口中显示消息
　　2、将消息记录到文本文件
　　3、将消息转发到另一个系统日志服务器
　　4、记录到ODBC数据库
　　5、记录到NT应用程序事件日志
　　6、通过SMTP将消息通过电子邮件发送给某人
　　7、运行外部程序，如寻呼通知系统
　　8、发送SNMP陷阱消息

---

系统syslog内容的相关介绍

　　安装源码包，既不影响系统里面运行的syslog，也由于二者容易冲突，所以选择源码安装
　　版本：rsyslog-7.4.10
　　1、安装依赖包，参考官方文档
　　　　yum install git valgrind autoconf automake flex bison python-docutils python-sphinx json-c-devel libuuid-devel libgcrypt-devel zlib-devel openssl-devel libcurl-devel gnutls-devel mysql-devel postgresql-devel libdbi-dbd-mysql libdbi-devel net-snmp-devel
　　　　yum install autogen libtool
　　　　export PKG_CONFIG_PATH=/lib64/pkgconfig/ #设置环境变量
　　　　yum install libestr-devel -y
　　　　yum install liblogging-devel-1.0.4-2.gf.el6.x86_64.rpm liblogging-1.0.4-2.gf.el6.x86_64.rpm
　　2、./autogen.sh
　　　　运行这个来生成所有的初始makefiles等，运行这个脚本之后就会有configure这个工具了
　　　　接下来可以使用./congure --enable...添加各种插件功能,插件目录在/rsyslog-7.4.10/plugins/下，使用-h查看支持的选项
　　　　make && make install

　　3、配置相应的功能之后就启动服务了
　　　　/usr/local/rsyslog/sbin/rsyslogd --help #查看相应的服务启动参数

 

---

配置和相关文档的说明

man8手册的说明：http://man7.org/linux/man-pages/man8/rsyslogd.8.html

OPTIONS

　　-D   配置解析器在调试模式下运行，通常在很难发现配置错误的情况下使用
　　-d   在debug模式下运行
　　-f    指定配置文件运行，默认在/etc/rsyslog.conf
　　-i    指定pid文件运行，如果是多实例的话，需要指定不同的pid文件
　　-n   默认是由init进程进行守护运行
　　-N level 以检查配置文件的方式运行，默认是0级别
　　　　rsyslogd -f ../sample.conf -N 1 -i /var/run/rsyslogd1.pid
　　-C  改变root目录的方式运行
　　-v   打印版本信息

SIGNALS

　　Rsyslogd接受一些信号的响应
　　示例：kill -SIGNAL $(cat /var/run/rsyslogd.pid)
　　将SIGNAL替换成相应的信号值
　　HUP 让rsyslogd执行关闭所有打开的文件。
　　TERM,INT,QUIT 停止rsyslog的运行
　　USR1 当rsyslog运行在debug的时候有用，可以用来切换状态
　　CHLD 略

security threats

　　rsyslogd守护进程可能被用作拒绝服务攻击的管道，且在本机开启UDP端口容易导致机器风险。
　　1、使用防火墙来限制哪些机器可以访问514端口
　　2、将保存的信息存放在非根文件系统的位置，确保不会损害当前的机器。
　　3、以非root用户运行

FILES

　　/etc/rsyslog.conf 配置rsyslogd运行的配置文件
　　/dev/log Unix域套接字读取本地syslog消息
　　/var/run/rsyslogd.pid rsyslogd运行的pid文件
　　prefix/lib/rsyslog rsyslogd rsyslogd 目录，默认编译的路径

---

man5关于rsyslog配置文件的详细说明

http://man7.org/linux/man-pages/man5/rsyslog.conf.5.html#top_of_page

MODULES

　　im开头的输入模块，om开头的输出模块
　　ommysql    输出到mysql的模块
　　imfile 　　  文本文件输入模块
　　imudp 　　 udp输入模块
　　imtcp 　　  tcp输入模块
　　imrelp 　　RELP协议输入插件
　　...

BASIC STRUCTURE

　　Global directives

　　全局指令用来设置rsyslog的运行全局属性，譬如message的队列尺寸等。

　　Templates

　　Templates 可以将message处理成指定的格式，必须在rules之前被定义好。

　　Output channels

　　为用户可能需要的任何类型的输出提供了..

　　Rules(selector + action)

　　每一个rules都包含了这两个字段，这两个字段由一个或多个空格或制表符分隔。
　　selector字段指定属于指定动作的facilities和priorities的模式。

 

SELECTORS

　　facility和priority由点号分隔，不区分大小写。
　　facility由以下几个关键字组成：
　　auth, authpriv, cron, daemon, kern, lpr, mail, mark, news, security等
　　你可以通过这些关键字来重定向这些消息。

　　priority由以下几个关键字组成：
　　debug, info, notice, warning, warn, err, crit, alert, emerg, panic等
　　可以用来定义消息的优先级

　　1、* 表示所有facility或priority
　　2、可以在相同的priority指定多个facility,使用,来分隔。
　　3、多个selectors可以指定单个action，通过;号分隔，选择器字段中的每个选择器都可以覆盖前面的选择器。
　　4、扩展语法，=指定单一的priority，!表示忽略所有priorities。

ACTIONS

作为一个规则表示如何处理消息，一般会是写入文本文件或数据库等操作。

　　Regular file
　　*.* /var/log/traditionalfile.log;RSYSLOG_TraditionalFileFormat
　　#以指定的格式写入指定的文件

　　Named pipes
　　支持将输出记录到命名管道(fifos)，通过将管道符号‘|‘预先添加到文件的名称，可以将fifo或命名管道用作日志消息的目的地。
　　fifo必须在rsyslogd启动之前使用mkfifo命令创建。
　　一边写一边读，类似python中的queue，会阻塞。

　　Terminal and console
　　可以将输出重定向到终端，/dev/console

　　Remote machine
　　输出到远程主机上，@表示udp,@@表示tcp，如果采用RELP协议，需要在远程主机前加上:omrelp:。

　　*.* @192.168.0.1
　　#将消息发送到192.168.0.1的514端口(默认端口)
　　action(type="omfwd" Target="192.168.0.1" Device="eth0" Port=514 Protocol="udp")
　　#通过omfwd可以指定更多属性
　　*.* :omrelp:192.168.0.1:2514
　　#使用RELP协议，需要先加载模块后才可以使用

　　List of users
　　通常会将一些严重的信息通知给系统用户
　　:omusrmsg:root,user1,user2

　　Everyone logged on
　　一些紧急的消息需要发送给所有用户，这时候可以使用*来表示
　　:omusrmsg:*

　　Database table
　　利用相应的输出模块将message信息输出到数据库中

　　Discard
　　将不需要的消息进行丢弃
　　*.* stop #stop表示丢弃动作，也可以使用~来表示

　　Output channel
　　将输出通道定义绑定到此操作，必须以$开头，支持模板定义。

　　Shell execute
　　略

FILTER CONDITIONS

提供3种条件过滤的类型
1、基于selectors的severity和facility
2、基于property
3、基于expression(表达式)

　　Selectors是传统的过滤方式syslog的消息。
　　保持了传统的语法， 如果只需要根据facility和priority进行筛选，则应该使用Selectors进行筛选。

　　Property-Based Filters
　　允许过滤任何属性，例如HOSTNAME, syslogtag and msg等
　　必须以:开头，后面接属性名，一个逗号，一个比较操作符，另一个逗号，然后是比较的值，这个值必须被引用。
　　示例：
　　:property, [!]compare-operation, "value"
　　以下是compare-operation操作的支持情况：
　　　　contains：  检查值中包含的字符串是否包含在属性中
　　　　isequal：    比较提供的"值"字符串和属性内容。 这两个值必须完全相等。
　　　　startswith：检查值是否刚好在属性值的起始处找到。
　　　　regex：      将该属性与提供的正则表达式进行比较。

　　Expression-Based Filters
　　参考官方文档

TEMPLATES

　　每一个rsyslog的输出都是用templates，适用于文件，用户信息等。
　　如果你不指定一个templates的话，默认会使用一个预置的模板，被硬编码在代码之中。
　　template由一个template指令，一个名称，实际模板文本和可选的选项
　　　　$template MyTemplateName,"\7Text %property% some more text\n",<options>
　　　　$template TraditionalFormat,"%timegenerated% %HOSTNAME% %syslogtag%%msg%\n"
　　　　\斜杠是转义，\7是一个ASCII字符，除了百分号以外的东西，模板中的所有文本都是字面使用的。
　　　　%%里面是属性值，可以访问消息的内容，通过property replacer去访问。
　　templates可以用来生成selector行的动态文件名。
　　　　$template DynFile,"/var/log/system-%HOSTNAME%.log"

　　Template options
　　　　请务必不要将模板选项与属性选项相混淆-后者由property replacer处理，仅应用于单一属性而不是整个模板。
　　　　sql：格式化适合于MySQL格式的SQL语句的字符串,这将在每个字段内用单引号"‘"和反斜线字符"‘"和"\"替换反斜线字符。
　　　　stdsql:提供标准的sql语句格式
　　　　如果你将信息写入数据库中，一定要注意sql注入的问题。

　　Template examples
　　模板不能实际上被分割成多行。

　　一个传统的模板输出：
　　　　$template TraditionalFormat,"%timegenerated% %HOSTNAME%%syslogtag%%msg:::drop-last-lf%\n"
　　复杂一点的模板
　　　　$template precise,"%syslogpriority%,%syslogfacility%,%timegenerated%,%HOSTNAME%,%syslogtag%,%msg%\n"
　　RFC 3164 format的模板
　　　　$template RFC3164fmt,"<%PRI%>%TIMESTAMP% %HOSTNAME% %syslogtag%%msg%"
　　传统的模板格式用于用户信息
　　　　$template usermsg," XXXX%syslogtag%%msg%\n\r"

---

 

OUTPUT CHANNELS

　　$outchannel name,file-name,max-size,action-on-max-size
　　　　$outchannel name表示outchannel名称
　　　　file-name表示写入文件名
　　　　max-size表示写入最大的尺寸
　　　　action-on-max-size在达到最大尺寸的时候执行的动作，这个命令总是只有一个参数。
　　　　*.* :omfile:$mychannel

---

PROPERTY REPLACER

property replacer是rsyslog输出系统的核心组成部分，一个message有很多properties，通过property replacer访问。

　　Accessing Properties
　　系统日志消息属性在模板中使用，通过百分比标志之间的访问，属性可以由属性替换器修改。完整的语法如下：
　　%propname:fromChar:toChar:options% #propname为访问属性名

　　Available Properties
　　　　msg message的MSG部分
　　　　rawmsg 从socket接受的消息，一般用于debug
　　　　HOSTNAME message中的hostname
　　　　FROMHOST 接收到message的主机来源
　　　　syslogtag message的TAG部分
　　　　programname tag的static部分，当TAG is "named[12345]", programname is "named".
　　　　PRI message的PRI部分-未解码(单一值)
　　　　PRI-text message的PRI部分，以文本的形式
　　　　IUT 略
　　　　syslogfacility message的facility，以数字的形式
　　　　syslogfacility-text message的facility，以文本的形式
　　　　syslogseverity message的severity，以数字的形式
　　　　syslogseverity-text message的severity，以文本的形式
　　　　timegenerated message被接收到时候的时间戳
　　　　timereported message里面的timestamp
　　　　TIMESTAMP timereported的别名
　　　　PROTOCOL-VERSION 略
　　　　STRUCTURED-DATA 略
　　　　APP-NAME 略
　　　　PROCID 略
　　　　MSGID MSGID的内容
　　　　$NOW 当前的日期格式，YYYY-MM-DD
　　　　$YEAR The current year (4-digit)
　　　　$MONTH The current month (2-digit)
　　　　$DAY The current day of the month (2-digit)
　　　　$HOUR The current hour in military (24 hour) time (2-digit)
　　　　$MINUTE The current minute (2-digit)
　　　　这些不是源于消息，而是内部生成的。

　　Character Positions
　　　　FromChar and toChar被用于建立子串，指定的字符串被拷贝出来。
　　　　"%msg:1:2%" #提取前两个字符
　　　　"%msg:::lowercase%" #所有字符串转换成小写
　　　　%msg:10:$% #提取第十到结尾的字符

　　　　正则的支持
　　　　"%msg:R:.*Sev:. \(.*\) \[.*--end%" #使用正则需要R开头

　　　　基于字段
　　　　"%msg:F:3%"
　　　　"%msg:F,59:3%" #F指定分隔符

　　Property Options
　　　　uppercase 将属性转换为小写
　　　　lowercase 属性的文本转换为大写
　　　　drop-last-lf 删除message结尾的LF
　　　　date-mysql mysql的时间格式
　　　　date-rfc3164 RFC 3164时间格式
　　　　date-rfc3339 RFC 3339时间格式
　　　　escape-cc 替换控制字符
　　　　space-cc 替换控制字符为空格
　　　　drop-cc 结果字符串将不包含控制字符，转义序列或空间的任何其他替换字符。

---

操作系统版本syslog的使用情况

rpm -ql rsyslog-5.8.10-8.el6.x86_64

　　/etc/logrotate.d/syslog 　　 #用于logrotate的配置
　　/etc/pki/rsyslog
　　/etc/rc.d/init.d/rsyslog 　　  #rsyslog的服务管理脚本
　　/etc/rsyslog.conf 　　　　  #主配置文件
　　/etc/rsyslog.d 　　　　　   #配置文件包含目录
　　/etc/sysconfig/rsyslog 　　 #rsyslogd选项
　　/lib64/rsyslog 　　　　      #库文件目录
　　/sbin/rsyslogd 　　　　     #运行的二进制文件
　　/usr/share/doc/rsyslog-5.8.10 #帮助文档

　　/etc/rsyslog.conf配置内容简介：
　　　　$ModLoad imuxsock #本地系统日志的输入支持(e.g. via logger command)
　　　　$ModLoad imklog #提供内核日志输入支持
　　　　$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat #默认模板
　　　　$IncludeConfig /etc/rsyslog.d/*.conf #配置文件包含目录
　　　　*.info;mail.none;authpriv.none;cron.none /var/log/messages
　　　　authpriv.* /var/log/secure
　　　　...
　　　　将各种日志的各种级别进行输出重定向到文件

　　/etc/logrotate.d/syslog
　　利用syslog将系统各种信息输出到指定的各个文件之后，再利用logrotate去对日志进行滚动压缩等操作
　　示例：
　　　　/var/log/cron
　　　　/var/log/maillog
　　　　/var/log/messages
　　　　/var/log/secure
　　　　/var/log/spooler
　　　　{
　　　　　　sharedscripts
　　　　　　postrotate
　　　　　　　　/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
　　　　　　　　#在进行日志滚动的时候需要发送HUP信号给syslogd进程，关闭打开的所有文件
　　　　　　endscript
　　　　}

logrotate
可以基于日志的大小或时间进行滚动，支持压缩，拷贝等众多功能。
rpm -ql logrotate-3.7.8-17.el6.x86_64

　　/etc/cron.daily/logrotate 　　 #由cron定时任务管理器来启动logrotate
　　/etc/logrotate.conf 　　　　  #logrotate主配置文件
　　/etc/logrotate.d 　　　　　　#logrotate配置文件目录
　　/usr/sbin/logrotate 　　　　  #logrotate运行的二进制文件
　　/usr/share/doc/logrotate-3.7.8 #关于logrotate的文档信息

　　/etc/logrotate.conf配置文件简介：
　　　　compress #全局指定，日志进行压缩处理。
　　　　

　　"/var/log/httpd/access.log" /var/log/httpd/error.log {
　　　　rotate 5 　　　　　　　       #轮转5个日志，之前的会被移除
　　　　mail [email protected] #发送邮件信息
　　　　size 100k 　　　　　　　　 #按照大小进行轮转
　　　　sharedscripts 　　　　　　  # 如果指定了sharedscripts，那么脚本只运行一次，因为在多个日志进行轮转的时候只需要执行一次重载服务即可。
　　　　postrotate
　　　　/usr/bin/killall -HUP httpd
　　　　endscript 　　　　　　　　 #在postrotate和endcript之间的内容，在日志文件轮转后执行(使用/bin/sh)。
　　　　}

cron定时任务
logrotate由cron进行定时触发执行，而logrotate作为syslog的工具对日志进行滚动，syslog进行日志分类收集存储。
rpm -ql crontabs-1.10-33.el6.noarch

　　/etc/cron.daily
　　/etc/cron.hourly
　　/etc/cron.monthly
　　/etc/cron.weekly
　　/etc/crontab
　　/usr/bin/run-parts
　　/usr/share/man/man4/crontabs.4.gz

rpm -ql cronie-1.4.4-15.el6_7.1.x86_64
　　/etc/cron.d
　　/etc/cron.d/0hourly
　　/etc/cron.deny
　　/etc/pam.d/crond
　　/etc/rc.d/init.d/crond
　　/etc/sysconfig/crond
　　/usr/bin/crontab
　　/usr/sbin/crond

　　Cron在crontab文件中搜索/var/spool/cron，这些文件以/etc/passwd中的帐户命名; 找到的crontabs被加载到内存中。
　　Cron还会搜索/etc/anacrontab和/etc/cron.d目录中具有不同格式的任何文件(请参阅crontab(5))。
　　使用modtime选项时，Cron会每分钟检查一次crontables的modtimes以检查是否有任何更改，并重新加载已更改的crontables。

Cron检查的目录如下：
　　/etc/crontab #系统的crontab，现在文件默认是空的。通过读取/etc/anacrontab配置文件的anacron运行。
　　/etc/cron.d/ #包含为不同用户存储的系统cron job的目录。
　　/var/spool/cron #包含由crontab命令创建的用户crontables的目录。