Filebeat+ELK部署文档

Posted 2021-03-19 su-per-man

环境准备：三台机器centos6.5以上 4C8G/100G以上

简单介绍：

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

Filebeat+ELK是四个开源工具组成，简单解释如下：

Filebeat：ELK 协议栈的新成员，一个轻量级开源日志文件数据搜集器，基于 Logstash-Forwarder 源代码开发，是对它的替代。在需要采集日志数据的 server 上安装 Filebeat，并指定日志目录或日志文件后，Filebeat就能读取数据，迅速发送到 Logstash 进行解析，亦或直接发送到 Elasticsearch 进行集中式存储和分析。

Elasticsearch：是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash：是一个完全开源的工具，它可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。

Kibana：也是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

这里之所以用Filebeat+ELK是因为Filebeat相对于logstash而言，更轻量级，占用系统资源少。

 

10.0.254.A 装es

10.0.254.B 装logstash kibana

10.0.254.C 装filebeat

安装步骤：

1、配置Java环境：(安装elasticsearch的时候需要有Java环境，jdk可以去oracle官方网站下载，版本号可以和我的不一样)

自己百度网盘里的包

elasticsearch-6.2.3.tar.gz

filebeat-6.2.3-linux-x86_64.tar.gz

kibana-6.2.3-linux-x86_64.tar.gz

logstash-6.2.3.tar.gz

jdk1.8.0_111

A机器：

tar -zxvf elasticsearch-6.2.3.tar.gz

进入confing目录，备份配置文件

 cp elasticsearch.yml elasticsearch.yml.bak

修改配置文件如下

 

 

 

 

 

 期间需要修改vim /etc/security/limits.d/90-nproc.conf  调高数值比如4096  等

启动服务需要用普通用户

nohup ./elasticsearch &  启动