ELK日志分析概述+实际部署图文超详细步骤（整理了几天）！！！

Posted 沉入深海

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了ELK日志分析概述+实际部署图文超详细步骤（整理了几天）！！！相关的知识，希望对你有一定的参考价值。

ELK日志分析系统

前言

在现网环境下，面对多台服务器产生的大量日志，会给我们运维人员产生大量困难，面对日志量太大如何归档、搜索定位过慢、多维度查询、集中化管理等多个困难，常见解决方案是集中日志收集，将所有节点的日志统一收集、管理、访问。而日志服务器对日志的分析较为困难，因此ELK的日志分析系统的模式就是我们常见的解决方案。

一、ELK日志分析系统

ELK是由Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。

1.ELK的组成（Elasticsearch、Logstash、Kibana）

  • ELK是由Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。

2.ELK 日志分析系统的处理步骤


  • 1正常的appserver 产生大量日志，
  • 2 Logstash 收集日志
  • 3 Logstash对数据进行格式化处理，保证所有的数据类型为统一类型
  • 4 发送给ES索引数据库进行处理，索引和存储创建完后发给kibana
  • 5.借助kibana 对数据进行图表化前端展示

3.Elasticsearch组件简介

Elasticsearch是一个基于Lucene的搜索服务器。它基于RESTful web接口提供了一个分布式多用户能力的全文搜索引擎。
Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

（1）接近实时（NRT）

Elaisticsearch是一个接近实时的搜索平台，这意味着，
从索引一个文档直到这个文件能够被搜索到有一个轻微的延迟（通常是1秒）

（2）集群机制

一个集群就是由一个或多个节点组织在一起，它们共同持有你整个数据，并一起提供索引和搜索功能。
其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。
集群有一个唯一性标示的名字，默认是elasticsearch，一个集群可以只有一个节点。
强烈建议在配置elasticsearch时，配置成集群模式。
ES具有集群机制，节点通过集群名称加入到集群中。
同时在集群中的节点会有一个自己的唯一身份标识(自己的名称)。

（3）索引

一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引的文档进行索引、搜索、更新、删除时，都要使用到这个名字。在一个集群中，如果你想，可以定义任意多的索引。
索引相对于关系型数据库的库

索引（库）–>类型（表）–>文档（记录）

（4）类型

在一个索引中，可以定义一种或多种。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你定义。通常会为具有一组共同字段的文档定义为一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型
类型相对于关系型数据库的表

（5）文档

一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，也可以拥有某个订单的一个文档。文档以JSON（javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式。
在一个Index/type里面，可以存储任意多的文档。虽然一个文档在物理上位于一个索引中，时加上一个文档必须在一个索引内被索引和分配一个类型。

（6）分片与副本（shard&replicas）

在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了。为解决这个问题，elasticsearch提供将索引分成多个分片的功能。当创建索引时，可以定义想要分片的数量。每一个分片就是一个全功能的独立索引，可以位于集群中的任何节点上。
分片的两个主要原因：
水平分割扩展，增大存储量
分布式并行跨分片操作，提高性能和吞吐量

分布式分片的机制和搜索请求的文档如何汇总完全是有elasticsearch控制的，这些对用户而言是透明的。
网络问题等等其它问题可以在任何时候不期而至，为了健壮性，强烈建议要有一个故障切换机制，无论何种故障以防止分片或者节点不可用。
为此，elasticsearch让我们将索引分片复制一 份或多份，称之为分片副本或副本。

●副本也有两个最主要原因：
a、高可用性，以应对分片或者节点故障。出于这个原因，分片副本要在不同的节点上。
b、xxx能，增大吞吐量，搜索可以并行在所有副本上执行。

总之，每个索引可以被分成多个分片。一个索引也可以被复制0次(意思是没有复制)或多次。一旦复制了，每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分月和副本的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变副本的数量，但是你事后不能改变分片的数量。
默认情况下，Elasticsearch中的每 个索引被分片5个主分片和1个副本，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个副本分片(1个完全拷贝)， 这样的话每个索引总共就有10个分片。

4.Logstash主要组件

（1）简介

一款强大的数据处理工具。Logstash由JRuby语言编写，基于消息(message based)的简单架构，并运行在Java虚拟机(JVM)上。 不同于分离的代理端(agent)或主机端(server) ，LogStash可配置单一的代理端(agent) 与其它开源软件结合，以实现不同的功能。

（2）组件作用

  • Inputplugin：实现数据传输（数据输入）
  • Filterplugin：实现格式处理（数据加工(如过滤，改写等)）
  • Outputplugin：实现格式化输出（数据输出）

5.Kibana组件

（1）Kibana组件简介

一个针对Elasticsearch的开源分析及可视化平台。搜索、查看存储在Elasticsearch索引中的数据。通过各种图表进行高级数据分析及展示

（2）Kibana组件功能

  • Elasticsearch无缝之集成
  • 整合数据，复杂数据分析
  • 让更多团队成员收益
  • 接口灵活，分享更容易
  • 配置简单、可视化多数据源
  • 简单数据导出

二、ELK部署前期准备

1.部署环境地址（各个服务器IP地址）

主机名称操作系统IP地址安装包
node1CentOS7.6内网：192.168.40.80Elasticsearch/Kibana
node2CentOS7.6内网：192.168.40.81Elasticsearch
apacheCentOS7.6内网：192.168.40.88httpd / Logstash
宿主机windows10192.168.40.1/

2.在 所有服务器上关闭防火墙和核心防护。

3.修改所有服务器的名字

因为集群是根据服务器名字进行映射的，所以这里所有的名字得正确



三、正式部署

相关软件包

1.配置elasticsearch环境（node1 和node2上都要部署）

node1（192.168.40.80）
node2（192.168.40.81）


echo "192.168.40.80 node1" >> /etc/hosts
echo "192.168.40.81 node2" >> /etc/hosts

java -version
cd /opt/
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/ &> /dev/null

cd /usr/local/
mv jdk1.8.0_91/ jdk
vim /etc/profile
#把这个路径放到最下面
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile
java -version

2.部署elasticsearch软件

（1）安装elasticsearch—rpm包


cd /opt
rpm -ivh elasticsearch-5.5.0.rpm

（2）加载系统服务

systemctl daemon-reload
systemctl enable elasticsearch.service

（3）更改elasticsearch主配置文件（node1）

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml
#17行；取消注释，修改；集群名字
cluster.name: my-elk-jiqun
#23行；取消注释，修改；节点名字（node2修改成node2）
node.name: node1
#33行；取消注释，修改；数据存放路径
path.data: /data/elk_data
#37行；取消注释，修改；日志存放路径
path.logs: /var/log/elasticsearch
#43行；取消注释，修改；不在启动的时候锁定内存
bootstrap.memory_lock: false
#55行；取消注释，修改；提供服务绑定的IP地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
#59行；取消注释；侦听端口为9200（默认）
http.port: 9200
#68行；取消注释，修改；集群发现通过单播实现，指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]








（4）更改elasticsearch主配置文件（node2）


(5) 创建数据存放路径并授权(node1 和 node2 中都)

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

（6）启动elasticsearch是否成功开启


systemctl start elasticsearch
netstat -antp |grep 9200

(7)查看node1和node2得信息

在本地宿主机访问 （192.168.40.1）

(8)验证：分别访问node1和node2


http://192.168.40.80:9200
http://192.168.40.81:9200


(9)在宿主及上检测集群健康状态

在宿主及上检测集群健康状态
http://192.168.40.80:9200/_cluster/health?pretty
http://192.168.40.81:9200/_cluster/health?pretty

(10)查看集群状态

http://192.168.40.80:9200/_cluster/state?pretty
http://192.168.40.81:9200/_cluster/state?pretty

3.安装elasticsearch-head插件

此插件用于集群得管理

(1)编译安装node组件依赖包(node1、node2同时操作)

  • node1（192.168.40.80）
  • node2（192.168.40.81）

yum -y install gcc gcc-c++ make

上传软件包 node-v8.2.1.tar.gz 到/opt
cd /opt
tar xzvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure 
 make -j4 && make install



(2) 在两台节点上都安装phantomjs（前端框架）


上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到/opt目录下
cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

(3)node1和node2安装elasticsearch-head（数据可视化工具）


上传软件包 elasticsearch-head.tar.gz 到/opt
cd /opt
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install

(4) 修改node1 ,node2主配置文件


vim /etc/elasticsearch/elasticsearch.yml
......
#-------末尾;添加以下内容--------
http.cors.enabled: true
http.cors.allow-origin: "*"

#-----------参数解释-----------------------------
http.cors.enabled: true				#开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"			#指定跨域访问允许的域名地址为所有


systemctl restart elasticsearch.service

(5) node1 和node2都启动elasticsearch-head


必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &

##以下为运行界面
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
elasticsearch-head 监听的端口是 9100
#这里输入回车
netstat -natp |grep 9100

(6) 使用elasticsearch-head插件在宿主机查看集群状态

在宿主机192.168.40.1上访问


http://192.168.40.80:9100
在Elasticsearch 后面的栏目中输入
http://192.168.40.80:9200

http://192.168.40.81:9100
在Elasticsearch 后面的栏目中输入
http://192.168.40.81:9200



(7) 创建索引（node1 ：192.168.40.80）

  • 创建索引为index-demo,类型为test

curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '"user":"raindrop","mesg":"goodbye world"'



在宿主机上输入地址
http://192.168.40.80:9100

4.在Apache服务器上安装logstash进行日志搜集输出

(1) 安装Apahce服务（httpd）


yum -y install httpd
systemctl start httpd


(2) 在Apache服务器上安装Java环境

查看
java -version        ###如果没有装 安装yum -y install java

(3) 在Apache服务器上安装logstash


上传logstash-5.5.1.rpm到/opt目录下
cd /opt
rpm -ivh logstash-5.5.1.rpm

systemctl start logstash.service
systemctl enable logstash.service

#建立logstash软连接
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

(4) 测试logstash命令


字段描述解释：
-f  通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
-e  后面跟着字符串 该字符串可以被当做logstash的配置（如果是” ”,则默认使用stdin做为输入、stdout作为输出）
-t  测试配置文件是否正确，然后退出



logstash -e 'input  stdin  output  stdout '



logstash -e 'input  stdin  output  stdout codec=>rubydebug  '

(5) 使用 Logstash 将信息写入 node1 Elasticsearch 中


logstash -e 'input  stdin  output  elasticsearch  hosts=>["192.168.40.80:9200"]  '

(6) 在宿主机192.168.40.1上访问，查看索引信息

宿主机上输入
http://192.168.40.80:9100

5.在Apache服务器上做对接配置


chmod o+r /var/log/messages      #给此目录得其他用户(o)增加读（r）的权限
ll /var/log/messages

vim /etc/logstash/conf.d/system.conf   #配置配置文件
input                                   #输入
       file
        path => "/var/log/messages"      #路径：/var/log/messages
        type => "system"                 #类型 system
        start_position => "beginning"    #开始位置beginning
        
      
output                                 #输出到
        elasticsearch                  #es服务器
          hosts => ["192.168.40.80:9200"] #服务器
          index => "system-%+YYYY.MM.dd" #索引 system-日期 
          
        


systemctl restart logstash.service

  • 回到宿主机进行访问http://192.168.40.80:9100/

6 在node1上安装kibana


上传kibana-5.5.1-x86_64.rpm 到/opt目录
cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm

cd /etc/kibana/
cp kibana.yml kibana.yml.bak

vim kibana.yml
#2行；取消注释；kibana打开的端口（默认5601）
server.port: 5601
#7行；取消注释，修改；kibana侦听的地址
server.host: "0.0.0.0"
#21行；取消注释，修改；和elasticsearch建立联系
elasticsearch.url: "http://192.168.40.80:9200"
#30行;取消注释；在elasticsearch中添加.kibana索引
kibana.index: ".kibana"              				

systemctl start kibana.service 
systemctl enable kibana.service





在宿主机192.168.40.1上访问 node1 5601端口

首次登录创建一个索引 名字：system-* （这是对接系统日志文件）
然后点最下面的出面的create 按钮创建，这里如果出错，是无法创建的。

在宿主机上输入：
http://192.168.40.80:5601/


7.和node1对接Apache主机的Apache 日志文件（访问日志、错误日志）

apache（192.168.40.88）


cd /etc/logstash/conf.d/

vim apache_log.conf
input 
     file
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
      
     file
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
      

output 
    if [type] == "access" 
        elasticsearch 
          hosts => ["192.168.40.80:9200"]
          index => "apache_access-%+YYYY.MM.dd"
        
    
    if [type] == "error" 
        elasticsearch 
          hosts => ["192.168.40.80:9200"]
          index => "apache_error-%+YYYY.MM.dd"
        
    


/usr/share/logstash/bin/logstash -f apache_log.conf

8.在宿主机192.168.40.1上访问 apache 服务器制造访问记录


打开浏览器 输入http://192.168.40.80:5601
点击左下角有个management选项—index patterns—create index pattern
分别创建apache_error-* 和 apache_access-* 的索引


部署成功。

以上是关于ELK日志分析概述+实际部署图文超详细步骤（整理了几天）！！！的主要内容，如果未能解决你的问题，请参考以下文章

ELK日志分析概述+实际部署图文超详细步骤（整理了几天）！！！

ELK日志分析概述+实际部署图文超详细步骤（整理了几天）！！！

Linux ELK日志分析系统 | logstash日志收集 | elasticsearch 搜索引擎 | kibana 可视化平台 | 架构搭建 | 超详细

震惊全网的ELK日志分析系统（齐全详细理论+搭建步骤图释）

震惊全网的ELK日志分析系统（齐全详细理论+搭建步骤图释）

ELK企业级日志分析系统概述及部署