日志分析系统

Posted 2020-11-01 Leo_wlCnBlogs

日志分析系统

参考博客：http://udn.yyuap.com/thread-54591-1-1.html ; https://www.cnblogs.com/yanbinliu/p/6208626.html ; http://blog.csdn.net/wyqlxy/article/details/52622867

在互联网项目中，良好的日志监控和分析能保障业务稳定运行，不过一般情况下日志都分散在各个生产服务器，且开发人员无法登陆生产服务器，这时候就需要一个集中式的日志收集装置，对日志中的关键字进行监控，触发异常时进行报警，协助开发人员查看相关日志。

https://www.cnblogs.com/byfcumt/p/8023225.html

ELK就是实现这种功能的一套系统，它是elasticsearch,logstash以及kibana的简称。最近打算将其用来管理数据平台产生的各种日志，这里记录一下在测试环境中搭建的步骤以及遇到的问题。
大体框架：
日志数据流如下，应用将日志落地在本地文件，部署在每台服务器上的FileBeat负责收集日志，然后将日志发送给LogStash；LogStash将日志进行处理之后；然后将处理后的Json对象传递给ElasticSearch，进行落地并进行索引处理；最后通过Kibana来提供web界面，来查看日志等。因为ES是基于Lucene的，所以Kibana支持Lucene查询语法。
image_1b4g890586hv1ag91ks3abv1i62m.png-24.8kB
对于日志数据流特别大的情况，LogStash会造成拥堵，这个时候可以使用消息队列来进行缓冲。同时，日志一旦进过LogStash之后，会不方面一些流处理程序来读取。这个时候使用kafka就比较好了，因为kafka是将消息持久化在本地，流处理应用可以从消息的offset初始的地方来读取。加入kafka的后的流程如下：
image_1b4g8qjmjegcnf614pqe61kbf13.png-33.1kB

安装流程：

1.软件版本

logstash版本：1.5.4(因不支持beats输入插件，故弃用)，2.2.1(目前使用版本)

elasticsearch版本：1.7.1

kinaba版本：4.1.1

filebeat版本：5.5.1

java版本：jdk-8u152

2.安装步骤

步骤一、下载Java组件并安装

下载最新版本的jdk，解压缩双击安装。备注：请务必使用java8以上的版本，否则ELK不能正常使用。

步骤二、添加JAVA_HOME 环境变量

右键“这台电脑“-〉属性-〉高级系统设置-〉环境变量，在系统变量里新建JAVA_HOME,值为C:\\Java\\jdk1.8.0_152，如下图所示

步骤三、安装配置nginx，为kibana配置反向代理

首先从网址http://nginx.org/download/nginx-1.9.4.zip下载nginx.
解压nginx-1.9.4.zip到f:\\elk,目录更名为nginx.
修改f:\\elk\\nginx\\conf\\nginx.conf文件，增加如下内容
server{
listen 80;
server_name localhost;
location / {
proxy_set_header Host $host;
proxy_pass http://localhost:5601;
}
这样做解决了5601端口被防火墙屏蔽，导致外部用户访问不了的问题。
步骤四、安装elasticsearch

解压elasticsearch-1.7.1.zip压缩包到F:\\elk\\elasticsearch地址下

打开命令行，输入如下命令
Pushd f:\\elk\\elasticsearch\\bin
Service install
产生如下输出

然后输入
service manager
出现如下界面

修改“Startup type “ ，从Manual到Automatic。
然后点击”Start“, elasticsearch将立即开始运行。
在浏览器中输入http://localhost:9200,出现如下界面，表明elasticsearch安装成功。

步骤五、安装head插件

解压elasticsearch-head-master.zip压缩包内容到elasticsearch\\plugins文件夹下，修改elasticsearch-head-master名称为head，在浏览器中输入http://localhost:9200/_plugin/head/即可查看Elasticsearch中数据

步骤六、安装logstash

解压logstash-2.2.1.zip压缩包到F:\\elk\\logstash地址下

在f:\\elk\\logstash\\bin里新建Logstash.conf
内容如下
input {
beats {
port => "5544"
codec => json {
charset => "UTF-8"
}
}
}
filter {
if [type] == "info" {
grok {
match => {
"message" => "(?\\d{4}-\\d{2}-\\d{2}\\s\\d{2}:\\d{2}:\\d{2},\\d{3})\\s+[(?.)]\\s+(?\\w)\\s+(?\\S)\\s+[(?\\S)]\\s+: (?.)\\s"
}
overwrite => ["message"]
}
}
if [type] == "error"{
grok {
match => {
"message" => "(?\\d{4}-\\d{2}-\\d{2}\\s\\d{2}:\\d{2}:\\d{2},\\d{3})\\s+[(?.)]\\s+(?\\w)\\s+(?\\S)\\s+[(?\\S)]\\s+- (?.)\\s"
}
overwrite => ["message"]
}
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
index => "test-%{+YYYY-MM}"
}
stdout { codec => rubydebug }
}

步骤七、新建Logstash 启动批处理文件
在文件夹f:\\elk\\logstash\\bin下新建run.bat 文件
文件内容如下
logstash.bat agent -f logstash.conf
增加这个批处理的目的是为了解决在windows环境下logstash运行一段时间就会挂起的问题。

步骤八、将Logstash安装成windows服务
首先从网址https://nssm.cc/release/nssm-2.24.zip下载nssm。
解压nssm-2.24.zip,然后从解压目录中拷贝nssm-2.24\\win64\\nssm.exe到f:\\elk\\logstash\\bin里，然后在命令行里输入
Pushd f:\\elk\\logstash\\bin
接着执行
Nssm install logstash
出现安装界面

请填写如下信息:
Path: f:\\elk\\logstash\\bin\\run.bat
Startup directory: f:\\elk\\logstash\\bin
界面如下：

点击"Details"页签，填写如下内容
Display name：logstash
Startup type：Automatic
界面如下：

接下来点击"Dependencies"页签，填写如下信息
This service depends on the followingsystem components: elasticsearch-service-x86
界面如下：

添加依赖的原因是，logstash的输出配置的是Elasticsearch，如果Elasticsearch没有启动，logstash无法正常工作。
最后单击install service按钮，执行安装过程，出现如下界面，表示服务已经安装成功。

步骤九、将Kibana安装成windows服务
将步骤八下载的nssm拷贝到文件夹f:\\elk\\kibana\\bin下。
然后在命令行里输入
Pushd f:\\elk\\kibana\\bin
接着执行
Nssm install kibana
出现安装界面
请填写如下信息:
Path: f:\\elk\\kibana\\bin\\kibana.bat
Startup directory: f:\\elk\\kibana\\bin

界面如下：

类似步骤八
点击"Details"页签，填写如下内容
Display name：kibana
Startup type：Automatic
界面如下：

接下来点击"Dependencies"页签，填写如下信息
This service depends on the followingsystem components:
elasticsearch-service-x86
logstash
界面如下：

最后单击install service按钮，执行安装过程，出现如下界面，表示服务已经安装成功。

你可以在"f:\\elk\\kibana\\config\\kibana.yml"中修改kibana的运行端口。

步骤十、安装FileBeat

(一)、安装

1.将文件夹中filebeat-5.5.1-winsows-x86_64.zip压缩包(也可自行下载)解压到C:\\filebeat文件夹

2.以管理员身份运行PowerShell(此处不要用cmd.exe)，在控制台中输入以下命令安装

CD C:\\filebeat

.\\install-service-filebeat.ps1

3.安装过程中会出现以上错误，此时需更改执行策略，语句如下

Set-executionpolicy RemoteSigned

选择：y 执行完后重新执行安装命令

.\\install-service-filebeat.ps1

至此安装成功，此时可看到filebeat服务为关闭状态

4.在开始菜单-运行输入Services.msc打开本地服务操作栏，找到filebeat.exe，启动服务

(二)、配置

1.打开C:\\filebeat文件夹，找到filebeat.yml配置文件，打开

2.将以下内容替换到配置文件中，根据需要更改配置内容（注意，由于文件为yml格式，所以同一模块中的行列需对齐，否则无法读取该配置文件）

(三)、数据查看

重新启动服务，往配置文件所在的日志目录中插入数据，打开http://localhost:9200/_plugin/head/或http://localhost:5601即可查看新增的日志数据

附：

测试数据(2017120713.TXT)

2017-12-07 13:00:24,330 [service_FlightInfoDeptDateCalculater0] INFO DispatchAssist.ACARSMonitorNew.FlightInfoDeptDateCalculater [Save] : 共有22条数据需要更新
2017-12-07 13:00:25,220 [service_ACARSMonitorNew0] INFO DispatchAssist.ACARSMonitorNew.ACARSParser [ACARSReportMatches] : M11开始解析.............
QU SHAITMU
.BJSXCXA 070500
M11
FI MU2412/AN B-1018
DT BJS LHW 070500 M42A

• POS
  CAS 288,LAT N 38.388,LON E105.944,ALT 25580,FOB 15960,UTC 050023
  2017-12-07 13:30:41,718 [service_ACARSMonitorNew0] INFO Ceair.Operations.WindowsServiceClient.Program [SingleThreadTask] : 下次执行时间:2017-12-07 13:30:41
  2017-12-07 13:30:41,718 [service_ACARSMonitorNew0] INFO Ceair.Operations.WindowsServiceClient.Program [SingleThreadTask] : Sleep:30000