如何实现日志的集中化存储以及使用loganalyzer做日志分析
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了如何实现日志的集中化存储以及使用loganalyzer做日志分析相关的知识，希望对你有一定的参考价值。
如何实现日志的集中化存储以及使用loganalyzer做日志分析1、下载网站日志：
流程如下：主机独立控制面板——网站情报系统分析——网站日志——下载WebLog日志——右键点击查看，链接另存为
在主机独立控制面板中，找到网站情报系统分析板块，里面就能看到网站日志了，点击下载WebLog日志，能看到最近几天的网站日志，但是点击查看进去，会发现是一堆看不懂的代码，没有关系，我们先不要进去查看，而是右键点击查看，链接另存为，下载网站日志。
——————
2、代码看不懂的话，可以使用光年日志分析软件GnAnalyzer，这是一个可以帮助我们进行网站日志分析的软件。比如蜘蛛抓取的情况，日志里面都有显示。
——————
3、光年日志分析软件的使用：
下载好网站日志后，就可以使用光年日志分析软件进行网站日志的分析了。
流程如下：光年日志分析软件文件夹中的GnAnalyzer.exe——文件菜单，新建任务——添加（类型选择所有文件）——下一步，保存——马上分析
——————
4、网站日志分析：
马上分析后，就可以查看当天：蜘蛛分析（概要分析、目录抓取、页面抓取、IP排行）；搜索引擎分析（关键字分析）；状态码分析（用户状态码、蜘蛛状态码）的相关信息。 参考技术A 日志记录的是，我们操作系统或某个服务或某个软件在运行过程当中所产生事件信息的，这对于我们后续分析系统比较有价值。
比如，某个服务在运行过程中出现故障了，就可以查看该服务的日志信息，分析日志找出服务出现故障的原因所在。
如：我们使用【yum】工具安装软件，系统都会把程序yum做的操作记录到日志里。
如果，我们管理的不是一台主机，每台主机的日志信息都是单独存放的，如果要分析报告当前所有主机的的所有服务的过去某一时间段运行状态，我们则要逐一查看每一台主机的日志文件了。这很不方便。不利于使用一些日志分析工具来分析日志。所以我们要做日志的集中化存储。意思是说：把所有主机产生日志信息发往日志服务器，由日志服务器帮助众多需要存储日志数据的主机存储日志数据。
存储日志数据有两种方式：
1、使用文件存储日志数据
2、把日志信息存储到数据库里 参考技术B 使用卓豪的log360（全方位日志分析及管理解决方案），可以对企业中的各种来源的日志（windows，linux，路由器、交换机、防火墙，Exchange，Active Directory，Office365，数据库，各种应用程序以及一切非加密的日志）进行统一管理，并提供强大的分析报表。
MySQL存储日志并使用Loganalyzer作为前端展示
为什么要使用日志
在生产环境中我们可能需要一个较为完整的日志系统来查看运行中主机服务的状态和所作出的操作，我们可以在较大型的网络架构中使用ELK来实现对日志的收集、检索、前端显示，但是中小型架构中使用rsyslog足以对所有服务器的日志进行收集和检索来达到实时分析数据流量的目的。
本文目标
使用rsyslog将两台主机的日志信息存储到MySQL数据库中，并且编译安装Loganalyzer对MySQL中的日志信息使用httpd+php在前端进行展示。
实验拓扑图
实验环境
本文所有主机皆关闭SElinux和IPtables
实验步骤
syslog主机上rsyslog设置
以下操作在 syslog.anyisalin.com 中执行
首先我们要安装mysql和rsyslog连接mysql的驱动
[root@syslog ~]# yum install mysql-server rsyslog-mysql -y
Loaded plugins: fastestmirror
Setting up Install Process
#省略
Installed:
rsyslog-mysql.x86_64 0:5.8.10-10.el6_6
mysql-server.x86_64 0:5.1.73-5.el6_7.1
Complete!然后我们要修改rsyslog的配置文件，将下面两项启用
$ModLoad imudp
$UDPServerRun 514再添加mysql的配置
$ModLoad ommysql修改日志存放位置为MySQL
vim编辑器进入末行模式进行替换
%s@./var\/log.*@:ommysql:192.168.2.2,Syslog,syslog,passwd@gi重启rsyslog服务
[root@syslog ~]# service rsyslog restart
Shutting down system logger: [ OK ]
Starting system logger: [ OK ]创建mysql用户并赋予权限
mysql> GRANT ALL ON Syslog.* TO 'syslog'@'%' IDENTIFIED BY 'passwd';
Query OK, 0 rows affected (0.00 sec)
mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)导入表
[root@syslog ~]# mysql -usyslog -ppasswd < /usr/share/doc/rsyslog-mysql-5.8.10/createDB.sqlServer1主机上rsyslog设置
以下操作在 server1.anyisalin.com 中执行
首先我们要修改rsyslog的配置文件
vim编辑器进入末行模式进行替换
%s@./var\/log.*@\@192.168.2.2@gi重启rsyslog服务
[root@server1 ~]# service rsyslog restart
Shutting down system logger: [ OK ]
Starting system logger: [ OK ]测试是否成功
在syslog.anyisalin.com中查询数据库看是否记录
mysql> select * from SystemEvents\G;
*************************** 1. row ***************************
ID: 1
CustomerID: NULL
ReceivedAt: 2016-03-23 17:28:21
DeviceReportedTime: 2016-03-23 17:28:21
Facility: 0
Priority: 6
FromHost: syslog
Message: imklog 5.8.10, log source = /proc/kmsg started.
NTSeverity: NULL
Importance: NULL
EventSource: NULL
EventUser: NULL
EventCategory: NULL
EventID: NULL
EventBinaryData: NULL
省略。。。。Web服务器配置
以下操作在 www.anyisalin.com 中执行
由于loganalzyer提供的动态网页，所以我们要安装httpd和php
[root@www ~]# yum install php-gd httpd php php-mysql -y | tail -n 10
apr-util.x86_64 0:1.3.9-3.el6_0.1
apr-util-ldap.x86_64 0:1.3.9-3.el6_0.1
httpd-tools.x86_64 0:2.2.15-47.el6.centos.4
libedit.x86_64 0:2.11-4.20080712cvs.1.el6
mailcap.noarch 0:2.1.31-2.el6
php-cli.x86_64 0:5.3.3-46.el6_7.1
php-common.x86_64 0:5.3.3-46.el6_7.1
php-pdo.x86_64 0:5.3.3-46.el6_7.1
Complete!解压loganalzyer程序包到/var/www/html中并配置
[root@www ~]# tar xf loganalyzer-3.6.4.tar.gz -C /var/www/html/
[root@www ~]# cd /var/www/html/
[root@www html]# ls
loganalyzer-3.6.4
[root@www html]# cp -a loganalyzer-3.6.4/src/ log
cp -a loganalyzer-3.6.4/contrib/*.sh log/
[root@www html]# cd log
[root@www log]# chmod +x *.sh
[root@www log]# ./configure.sh
[root@www log]# ./secure.sh
[root@www log]# chmod 666 config.php启动httpd服务
[root@www log]# service httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain n
ame, using www.anyisalin.com for ServerName [ OK ]访问web页面安装loganalyzer
一直下一步到下面的页面，并按下面这样输入
一直下一步到最后点击Finish
安装完成，我们可以通过前端页面查看多台主机日志信息了
总结
怎么样？是不是很直观的就能查看排版好且美观的日志信息，再也不用面对繁杂的命令行接口了！
以上是关于如何实现日志的集中化存储以及使用loganalyzer做日志分析的主要内容，如果未能解决你的问题，请参考以下文章