ELK环境搭建
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ELK环境搭建相关的知识,希望对你有一定的参考价值。
预备环境:
系统:CentOS Linux release7.3.1611 (Core)
JDK:jdk1.8.0_144
ES:elasticsearch-5.5.1
索引管理:cerebro-0.6.5
Logstash:logstash-5.5.1
Kibana:kibana-5.5.1
一、JAVA环境设置
# tar xf jdk-8u144-linux-x64.tar.gz-C /data/app/
# cat >> /etc/profile <<EOF
#JDK1.8
exportJAVA_HOME=/data/app/jdk1.8.0_144
exportJAVA_BIN=/data/app/jdk1.8.0_144/bin
exportPATH=$PATH:$JAVA_HOME/bin
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BINPATH CLASSPATH
EOF
# source /etc/profile
查看版本:
# java –version //ELK软件要求JAVA最低1.8
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
默认安装的JDK属主属组目录是数字,需要手动修改成root
二、安装Elasticsearch
描述:ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTfulweb接口。Elasticsearch是基于 JSON 的分布式搜索和分析引擎,专为实现水平扩展、高可用和管理便捷性而设计。
2.1软件安装
# tar xf elasticsearch-5.5.1.tar.gz
# mv /data/soft/elasticsearch-5.5.1/data/app/
# chown-R elk:elk data/
# chown -R elk:elk logs/
# chown -R elk:elkelasticsearch-5.5.1/
2.2修改配置
配置文件:elasticsearch.yml //见附录
注:elasticsearch不允许root启动,因此需要切换到普通用户
测试节点:
[[email protected] elk]# curl10.20.11.7:9200
{
"name" :"ES01",
"cluster_name" :"xxjs",
"cluster_uuid" :"KeHt6-VtQ96YiJ81ILHN6A",
"version" : {
"number" :"5.5.1",
"build_hash" :"19c13d0",
"build_date" :"2017-07-18T20:44:24.823Z",
"build_snapshot" :false,
"lucene_version" :"6.6.0"
},
"tagline" : "YouKnow, for Search"
}
端口:9200/9300
# curl -XGET‘10.20.11.7:9200/_cat/health?v&pretty‘
#查看健康状态
# curl -XGET‘10.20.11.7:9200/_cat/nodes?v&pretty‘
#查看集群节点列表
三、安装Logstash
描述:Logstash软件本身也需要运行在JDK1.8(包含)以上的的环境中,Logstash 是一款强大的数据处理工具,它可以实现数据传输,格式处理,格式化输出,还有强大的插件功能,常用于日志处理。Logstash是动态数据收集管道,拥有可扩展的插件生态系统,能够与Elasticsearch 产生强大的协同作用。
3.1软件安装
# tar xflogstash-5.5.1.tar.gz -C /data/app/
# cd /data/app/logstash-5.5.1/config/
# mkdir config //用于存放日志分析配置文件
3.2修改配置
配置文件:logstash.yml //见附录
分析配置文件: //可以使用root运行
-rw-r--r--. 1 root root 678 9月 519:41 tomcat.conf
3.3测试配置文件是否可用
# /data/app/logstash-5.5.1/bin/logstash-f tomcat.conf \
--config.test_and_exit
出现Configer OK
3.4设置后台运行
#nohup /data/app/logstash-5.5.1/bin/logstash -f \
tomcat.conf &>/dev/null &
端口:9600
四、搭建Kibana
描述:Kibana是一个开源的分析与可视化平台,Kibana 能够以图表的形式呈现数据,并且具有可扩展的用户界面,供您全方位配置和管理Elastic Stack。Kibanak可以搜索、查看、交互存放在Elasticsearch索引里的数据,使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。
4.1软件安装
# tar xfkibana-5.5.1-linux-x86_64.tar.gz -C /data/app/
# chown -R elk:elk /data/app/kibana-5.5.1-linux-x86_64
4.2修改配置
配置文件:kibana.yml //见附录
4.3设置后台运行 //使用elk用户登录
# nohup /data/app/kibana-5.5.1-linux-x86_64/config/kibana.yml &>/dev/null &
4.4查看服务是否运行,端口5601
4.5运行启动kibana
4.5-2添加索引
4.5-3创建索引-1
4.5-4创建索引-2
4.5-5发现索引
五、搭建Cerebro
描述:Cerebro是第三方ES集群管理工具,可以方便查看集群状态;它也提供了对ES集群操作的API功能
5.1软件安装
# tar xf cerebro-0.6.5.tgz
该软件解压即可使用
5.2设置后台运行
# nohup ./bin/cerebro &>/dev/null &
5.3访问控制
WEB访问:http://10.20.11.7:9000
然后在HOSTS里输入:http://10.20.11.7:9200
如果安装了x-pack,需要输入ES的用户名和密码
界面显示如下:
可以查看管理ES主机(或集群)状态,也可以查看管理索引
方便管理
到此ELK已经完成搭建!!!
配置使用见后续文章
附录:
ES配置文件:
修改jvm.options配置设置
-Xms2g --> -Xms13g
-Xmx2g --> -Xmx13g
注:按需调整,配置物理机内存的50%,但不要超过31G。
修改elasticsearch.yml 配置
cluster.name: xxjs //集群名
node.name: ES01 //节点名
path.data: /data/app/data //data存储路径
path.logs: /data/app/logs //日志路径
network.host: 10.20.11.7 //监听地址
http.port: 9200 //监听端口
discovery.zen.ping.unicast.hosts: ["10.20.11.7", "10.20.11.8", "10.20.11.9", "10.20.11.10"]
//集群节点列表,也可用节点名
discovery.zen.minimum_master_nodes: 4
//集群可做master的最小节点数
修改logstash.yml配置
path.data: /var/lib/logstash
path.config: /data/soft/logstash-5.5.1
path.logs: /var/log/logstash
修改 kibana.yml配置
server.port: 5601
server.host: "10.20.11.11"
elasticsearch.url: "http://10.20.11.7:9200"
本文出自 “ELK搭建” 博客,请务必保留此出处http://8258742.blog.51cto.com/8248742/1982068
以上是关于ELK环境搭建的主要内容,如果未能解决你的问题,请参考以下文章