大型架构ELK

Posted 2020-11-21

ELK 是什么?
? Sina、饿了么、携程、华为、美团、freewheel、畅
捷通 、新浪微博、大讲台、魅族、IBM...... 这些公司
都在使用 ELK!ELK!ELK!

? ELK竟然重复了三遍,是个什么鬼?
ELK 其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写
– Elasticsearch:负责日志检索和储存
– Logstash:负责日志的收集和分析、处理
– Kibana:负责日志的可视化
– 这三款软件都是开源软件,通常是配合使用,而且又
先后归于 Elastic.co 公司名下,故被简称为 ELK

ELK 能做什么?
? ELK组件在海量日志系统的运维中,可用于解决:
– 分布式日志数据集中式查询和管理
– 系统监控,包含系统硬件和应用各个组件的监控
– 故障排查
– 安全信息和事件管理
– 报表功能

Elasticsearch部分
? ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful API 的 web 接口。
? Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便

Elasticsearch部分
? 主要特点
– 实时分析
– 分布式实时文件存储,并将每一个字段都编入索引
– 文档导向,所有的对象全部是文档
– 高可用性,易扩展,支持集群(Cluster)、分片和复制(Shards 和 Replicas)
– 接口友好,支持 JSON

? ES 没有什么?
? Elasticsearch 没有典型意义的事务.
? Elasticsearch 是一种面向文档的数据库。
? Elasticsearch 没有提供授权和认证特性

? 相关概念:
– Node: 装有一个 ES 服务器的节点。
– Cluster: 有多个Node组成的集群
– Document: 一个可被搜素的基础信息单元
– Index: 拥有相似特征的文档的集合
– Type: 一个索引中可以定义一种或多种类型
– Filed: 是 ES 的最小单位,相当于数据的某一列
– Shards: 索引的分片,每一个分片就是一个 Shard
– Replicas: 索引的拷贝

SQL 与 NOSQL
? ES 与关系型数据库的对比
– 在 ES 中,文档归属于一种 类型 (type) ,而这些类型
存在于索引 (index) 中,类比传统关系型数据库
– DB -> Databases -> Tables -> Rows -> Columns
– 关系型 数据库 表 行 列
– ES -> Indices -> Types -> Documents -> Fields
– ES 索引 类型 文档 域(字段)

ELK 搭建

Elasticsearch 重点，存储空间 分布式集群
Logstash 根据压力负载情况，多节点
Kibana 单节点

Elasticsearch 组建
1 禁用 selinux， 卸载 firewalld (所有主机都要做)
[[email protected] doc]# cat /etc/selinux/config
SELINUX=disabled

禁用防火墙 (所有主机都要做)
systemctl stop firewalld
systemctl mask firewalld

2 配置 /etc/hosts (所有主机都要做)
192.168.1.10 klog
192.168.1.11 es1
192.168.1.12 es2
192.168.1.13 es3
192.168.1.14 es4
192.168.1.15 es5

3 安装 java 运行环境 java-1.8.0-openjdk (所有主机都要做)
yum install java-1.8.0-openjdk -y

4 安装 elasticsearch (所有主机都要做yum install elasticsearch-2.3.4.rpm

5 修改配置文件 /etc/elasticsearch/elasticsearch.yml (所有主机都要做)
cluster.name: nsd1711
node.name: 当前主机名称
network.host: 0.0.0.0
discovery.zen.ping.unicast.hosts: ["es1", "es2", "es3"]

启动并验证 (所有主机都要做)
systemctl start elasticsearch

浏览器访问
http://192.168.1.ip:9200/
http://192.168.1.ip:9200/_cluster/health?pretty

集群插件
/usr/share/elasticsearch/bin
下载插件文件到本地，必须使用 file:// 绝对路径安装
./plugin install file:///usr/share/elasticsearch/bin/bigdesk-master.zip
使用远程 uri 路径可以直接安装
./plugin install ftp://192.168.1.254/elk/elasticsearch-head-master.zip
./plugin install ftp://192.168.1.254/elk/elasticsearch-kopf-master.zip

安装完成以后使用 ./plugin list 查看

http://192.168.1.15:9200/_plugin/插件名字

集群 api 查询地址
http://192.168.1.15:9200/_cat
http://192.168.1.15:9200/_cat/nodes?v 显示详细信息
http://192.168.1.15:9200/_cat/nodes?help 显示帮助信息

ES 数据库基本操作，使用 curl 命令
创建索引
curl -XPUT ‘http://192.168.1.13:9200/tarena/‘ -d ‘{
"settings":{
"index":{
"number_of_shards": 5,
"number_of_replicas": 1
}
}
}‘

增
curl -XPUT ‘http://192.168.1.11:9200/tarena/teacher/1‘ -d ‘{
"title": "阶段1",
"name":{"first": "小逗比", "last": "牛犇"},
"age": 25
}‘
curl -XPUT ‘http://192.168.1.11:9200/tarena/teacher/2‘ -d ‘{
"title": "阶段2",
"name":{"first": "老逗比", "last": "丁丁"},
"age": 52
}‘
curl -XPUT ‘http://192.168.1.11:9200/tarena/teacher/3‘ -d ‘{
"title": "阶段3",
"name":{"first": "漂亮姐", "last": "静静"},
"age": 20
}‘
curl -XPUT ‘http://192.168.1.11:9200/tarena/teacher/4‘ -d ‘{
"title": "阶段4",
"name":{"first": "老司机", "last": "欣欣"},
"age": 35
}‘

改
curl -XPOST ‘http://192.168.1.11:9200/tarena/teacher/3/_update‘ -d ‘{
"doc":{
"age": 18
}
}‘

查
curl -XGET ‘http://192.168.1.14:9200/tarena/teacher/1‘

删
curl -XDELETE ‘http://192.168.1.14:9200/tarena/teacher/1‘

kibana 安装配置
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://192.168.1.11:9200"
kibana.index: ".kibana"
kibana.defaultAppId: "discover"
elasticsearch.pingTimeout: 1500
elasticsearch.requestTimeout: 30000
elasticsearch.startupTimeout: 5000