基于logstash+elasticsearch+kibana的日志收集分析方案（Windows）

Posted 2020-10-11 King.left

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了基于logstash+elasticsearch+kibana的日志收集分析方案（Windows）相关的知识，希望对你有一定的参考价值。

一方案背景

通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。开源实时日志分析ELK平台能够完美的解决日志收集和日志检索、分析的问题，ELK就是指ElasticSearch、Logstash和Kiabana三个开源工具。

因为ELK是可以跨平台部署，因此非常适用于多平台部署的应用。

二环境准备

1. 安装JDK1.8环境
2. 下载ELK软件包

分别解压下载的软件，elasticsearch，logstash，kibana 可以放在一个统一文件夹下

三部署

1.配置logstash

在logstash文件夹的下bin目录创建配置文件logstash.conf ,内容如下：

input {
# 以文件作为来源
file {
# 日志文件路径
path => "F:\\test\\dp.log"
}
}
filter {
#定义数据的格式，正则解析日志（根据实际需要对日志日志过滤、收集）
grok {
match => { "message" => "%{IPV4:clientIP}|%{GREEDYDATA:request}|%{NUMBER:duration}"}
}
#根据需要对数据的类型转换
mutate { convert => { "duration" => "integer" }}
}
# 定义输出
output {
elasticsearch {
hosts => ["localhost:9200"] #Elasticsearch 默认端口
}
}