ElasticSearch+LogStash+Kibana+Redis搭建日志管理服务(ElasticSearch篇)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ElasticSearch+LogStash+Kibana+Redis搭建日志管理服务(ElasticSearch篇)相关的知识,希望对你有一定的参考价值。

ElkStack介绍

对于日志来说,最常见的需求就是收集、存储、查询、展示,开源社区正好有相对应的开源项目:logstash(收集)、elasticsearch(存储+搜索)、kibana(展示),我们将这三个组合起来的技术称之为ELKStack,所以说ELKStack指的是Elasticsearch、Logstash、Kibana技术栈的结合,一个通用的架构如下图所示:

技术分享

说明:

  • 多个独立的agent(Shipper)负责收集不同来源的数据,一个中心agent(Indexer)负责汇总和分析数据,在中心agent前的Broker(使用redis实现)作为缓冲区,中心agent后的ElasticSearch用于存储和搜索数据,前端的Kibana提供丰富的图表展示。
  • Shipper表示日志收集,使用LogStash收集各种来源的日志数据,可以是系统日志、文件、redis、mq等等;
  • Broker作为远程agent与中心agent之间的缓冲区,使用redis实现,一是可以提高系统的性能,二是可以提高系统的可靠性,当中心agent提取数据失败时,数据保存在redis中,而不至于丢失;
  • 中心agent也是LogStash,从Broker中提取数据,可以执行相关的分析和处理(Filter);
  • ElasticSearch用于存储最终的数据,并提供搜索功能;
  • Kibana提供一个简单、丰富的web界面,数据来自于ElasticSearch,支持各种查询、统计和展示;

ElkStack环境

1.Elska和Elska2为elasticsearch集群(不部署Logstash) 
2.Tcat1收集对象,nginx、java、tcp、syslog等日志 
3.Nginx1将logstash日志写入Redis,减少程序对elasticsearch依赖性,同时实现程序解耦以及架构扩展。 
4.被收集主机需要部署Logstash。

 

主机名IP服务
Elska.com 192.168.100.81 Elasticsearch、Kibana
Elska2.com 192.168.100.82 Elasticsearch、Kibana
Tcat1.com 192.168.100.83 Logstash、服务及程序日志
Nginx1.com 192.168.100.84 Logstash、Redis(消息队列)

 

 

 

 

 

 

ElkStack部署

Elasticsearch、需要Java环境,所以直接使用yum安装

 

1.安装java

[[email protected] ~]# yum install java
[[email protected] ~]# java -version
openjdk version "1.8.0_101"
OpenJDK Runtime Environment (build 1.8.0_101-b13)
OpenJDK 64-Bit Server VM (build 25.101-b13, mixed mode)


2.下载并安装GPG key

[[email protected] ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch


3.添加elasticsearch、logstash、kibana的yum仓库

# 添加elasticsearch的yum仓库
[[email protected] ~]# cat /etc/yum.repos.d/elasticsearch.repo
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1


4.安装ElasticSearch

[[email protected] ~]# yum install -y elasticsearch
[[email protected] ~]# yum install -y logstash
[[email protected] ~]# yum install -y kibana


5.yum安装需要配置limits

[[email protected] ~]# vim /etc/security/limits.conf
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited


5.1配置Elasticsearch

[[email protected] ~]# mkdir -p /data/es-data #创建es数据目录
[[email protected] ~]# chown -R elasticsearch.elasticsearch /data/es-data/ #授权
[[email protected] /]# grep ‘^[a-z]‘ /etc/elasticsearch/elasticsearch.yml
cluster.name: elk-cluter #集群名称
node.name: linux-Elska #节点的名称
path.data: /data/es-data #数据存放路径
path.logs: /var/log/elasticsearch/ #日志存放日志
bootstrap.mlockall: true #不使用swap分区,锁住内存
network.host: 192.168.100.81 #允许访问的IP
http.port: 9200 #elasticsearch访问端口


5.2运行Elasticsearch

1.启动elasticsearch

[[email protected] ~]# systemctl start elasticsearch
2.访问:elasticsearch_url: "http://es-mon-1:9200"

{
"name" : "linux-Elska",
"cluster_name" : "elk-cluter",
"version" : {
"number" : "2.3.5",
"build_hash" : "90f439ff60a3c0f497f91663701e64ccd01edbb4",
"build_timestamp" : "2016-12-10T10:36:52Z",
"build_snapshot" : false,
"lucene_version" : "5.5.0"
},
"tagline" : "You Know, for Search"
}


5.3Elasticsearch插件

1.安装Elasticsearch集群管理插件

[[email protected] ~]# /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head
访问head集群插件:http://ES_IP:9200/_plugin/head/

 

5.4elasticsearch集群

1.linux-Elska2配置一个相同的节点,通过组播进行通信,会通过cluster进行查找,如果无法通过组播查询,修改成单播即可

[[email protected] ~]# grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml
cluster.name: elk-cluter
node.name: linux-Elska2
path.data: /data/es-data
path.logs: /var/log/elasticsearch/
bootstrap.mlockall: true
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.100.81","192.168.100.82"] #单播(配置一台即可,生产可以使用组播方式)


























































以上是关于ElasticSearch+LogStash+Kibana+Redis搭建日志管理服务(ElasticSearch篇)的主要内容,如果未能解决你的问题,请参考以下文章

docker实现elasticsearch集群实战

详解三款日志采集工具--Logstash,Fluentd, Logtail比较

elasticsearch+logstash+kibana部署

CentOS7??????Elasticsearch+ Logstash+kibana??????????????????????????????

elasticsearch -- Logstash实现mysql同步数据到elasticsearch

Logstash+elasticsearch+elastic+nignx