ELK环境搭建

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ELK环境搭建相关的知识,希望对你有一定的参考价值。

预备环境:

系统:CentOS Linux release7.3.1611 (Core)

JDK:jdk1.8.0_144

ES:elasticsearch-5.5.1

索引管理:cerebro-0.6.5

Logstash:logstash-5.5.1

Kibana:kibana-5.5.1

一、JAVA环境设置

# tar xf jdk-8u144-linux-x64.tar.gz-C /data/app/

# cat  >> /etc/profile  <<EOF

#JDK1.8

exportJAVA_HOME=/data/app/jdk1.8.0_144

exportJAVA_BIN=/data/app/jdk1.8.0_144/bin

exportPATH=$PATH:$JAVA_HOME/bin

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME JAVA_BINPATH CLASSPATH

EOF

#  source /etc/profile

查看版本:

#  java –version      //ELK软件要求JAVA最低1.8

java version "1.8.0_144"                                       

Java(TM) SE Runtime Environment (build 1.8.0_144-b01)          

Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

默认安装的JDK属主属组目录是数字,需要手动修改成root

二、安装Elasticsearch

描述:ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTfulweb接口。Elasticsearch是基于 JSON 的分布式搜索和分析引擎,专为实现水平扩展、高可用和管理便捷性而设计。

2.1软件安装

# tar xf elasticsearch-5.5.1.tar.gz

# mv /data/soft/elasticsearch-5.5.1/data/app/

#  chown-R elk:elk data/

# chown -R elk:elk logs/

# chown -R elk:elkelasticsearch-5.5.1/

2.2修改配置

配置文件:elasticsearch.yml    //见附录

注:elasticsearch不允许root启动,因此需要切换到普通用户

测试节点:

[[email protected] elk]# curl10.20.11.7:9200

{

  "name" :"ES01",

  "cluster_name" :"xxjs",

  "cluster_uuid" :"KeHt6-VtQ96YiJ81ILHN6A",

  "version" : {

    "number" :"5.5.1",

    "build_hash" :"19c13d0",

    "build_date" :"2017-07-18T20:44:24.823Z",

    "build_snapshot" :false,

    "lucene_version" :"6.6.0"

  },

  "tagline" : "YouKnow, for Search"

}

 

端口:9200/9300

技术分享


# curl -XGET‘10.20.11.7:9200/_cat/health?v&pretty‘

#查看健康状态

技术分享

# curl -XGET‘10.20.11.7:9200/_cat/nodes?v&pretty‘

#查看集群节点列表

技术分享

三、安装Logstash

描述:Logstash软件本身也需要运行在JDK1.8(包含)以上的的环境中,Logstash 是一款强大的数据处理工具,它可以实现数据传输,格式处理,格式化输出,还有强大的插件功能,常用于日志处理。Logstash是动态数据收集管道,拥有可扩展的插件生态系统,能够与Elasticsearch 产生强大的协同作用。

3.1软件安装

# tar xflogstash-5.5.1.tar.gz -C /data/app/

# cd /data/app/logstash-5.5.1/config/

# mkdir config   //用于存放日志分析配置文件

3.2修改配置

配置文件:logstash.yml        //见附录

分析配置文件:    //可以使用root运行

-rw-r--r--. 1 root root 678 9月   519:41 tomcat.conf

3.3测试配置文件是否可用

# /data/app/logstash-5.5.1/bin/logstash-f tomcat.conf  \

--config.test_and_exit

出现Configer OK

3.4设置后台运行

#nohup /data/app/logstash-5.5.1/bin/logstash -f  \

 tomcat.conf &>/dev/null &

端口:9600

四、搭建Kibana

描述:Kibana是一个开源的分析与可视化平台,Kibana 能够以图表的形式呈现数据,并且具有可扩展的用户界面,供您全方位配置和管理Elastic Stack。Kibanak可以搜索、查看、交互存放在Elasticsearch索引里的数据,使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。

4.1软件安装

# tar xfkibana-5.5.1-linux-x86_64.tar.gz -C /data/app/

# chown  -R elk:elk /data/app/kibana-5.5.1-linux-x86_64

4.2修改配置

配置文件:kibana.yml      //见附录

4.3设置后台运行    //使用elk用户登录

# nohup /data/app/kibana-5.5.1-linux-x86_64/config/kibana.yml  &>/dev/null &

4.4查看服务是否运行,端口5601

技术分享

4.5运行启动kibana

网页访问:http://10.20.11.11:5601

技术分享

4.5-2添加索引

技术分享

4.5-3创建索引-1

技术分享

4.5-4创建索引-2

技术分享

4.5-5发现索引

技术分享

五、搭建Cerebro

描述:Cerebro是第三方ES集群管理工具,可以方便查看集群状态;它也提供了对ES集群操作的API功能

5.1软件安装

# tar xf cerebro-0.6.5.tgz

该软件解压即可使用

5.2设置后台运行

# nohup ./bin/cerebro  &>/dev/null  &

5.3访问控制

WEB访问:http://10.20.11.7:9000

然后在HOSTS里输入:http://10.20.11.7:9200

如果安装了x-pack,需要输入ES的用户名和密码

技术分享


界面显示如下:

可以查看管理ES主机(或集群)状态,也可以查看管理索引

 

方便管理

技术分享


到此ELK已经完成搭建!!!

配置使用见后续文章



附录:

ES配置文件:

修改jvm.options配置设置
-Xms2g  -->   -Xms13g
-Xmx2g  -->   -Xmx13g
注:按需调整,配置物理机内存的50%,但不要超过31G。
修改elasticsearch.yml 配置
cluster.name: xxjs   //集群名
node.name: ES01      //节点名
path.data: /data/app/data   //data存储路径
path.logs: /data/app/logs   //日志路径
network.host: 10.20.11.7    //监听地址
http.port: 9200             //监听端口
discovery.zen.ping.unicast.hosts: ["10.20.11.7", "10.20.11.8", "10.20.11.9", "10.20.11.10"]
//集群节点列表,也可用节点名
discovery.zen.minimum_master_nodes: 4
//集群可做master的最小节点数


修改logstash.yml配置
path.data: /var/lib/logstash
path.config: /data/soft/logstash-5.5.1
path.logs: /var/log/logstash


修改 kibana.yml配置
server.port: 5601
server.host: "10.20.11.11"
elasticsearch.url: "http://10.20.11.7:9200"

本文出自 “ELK搭建” 博客,请务必保留此出处http://8258742.blog.51cto.com/8248742/1982068

以上是关于ELK环境搭建的主要内容,如果未能解决你的问题,请参考以下文章

ELK环境搭建,手把手教程

ELK - MAC环境搭建

Windows环境下ELK平台的搭建

ELK环境搭建

ELK搭建

实战本机用docker搭建elk环境并接入frostmourne,实现监控报警效果