Elk环境篇 --- 本地快速搭建你的ElasticSearch及Kibana
Posted 掘金开发者社区
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Elk环境篇 --- 本地快速搭建你的ElasticSearch及Kibana相关的知识，希望对你有一定的参考价值。
前言
ELK的基本介绍
ELK是三个软件产品的首字母缩写，Elasticsearch，Logstash 和 Kibana。这三款软件都是开源软件，通常是配合使用，而且又先后归于 Elastic.co 公司名下，故被简称为 ELK 协议栈
左边我们部署了多台服务器，然后我们通过logstash来采集数据，采集完成我们发送到ES集群中存起来，然后通过Kibana去展示到我们的浏览器中，就是这么一个简单的套路
Elasticsearch是个开源分布式搜索引擎，它的特点有：开箱即用，分布式，零配置，自动发现，索引自动分片，索引副本机制，RESTful风格接口，多数据源，自动搜索负载等。
Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（比如供ES来进行搜索）。
Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。
ELK的实现介绍
| ELK | 实现语言 | 简介 |
|---|---|---|
| ElasticSearch | Java | 实时的分布式搜索和分析引擎，可用于全文检索，结构化搜索以及分析，基层基于Lucene。类似于Solr |
| Logstash | JRuby | 具有实时渠道能力的数据收集引擎，包含输入、过滤、输出模块，一般在过滤模块中做日志格式化的解析工作 |
| Kibana | javascript | 为ElasticSerach提供分析平台和可视化的Web平台。他可以ElasticSerach的索引中查找，呼唤数据，并生成各种维度的表图 |
ELK的参考资料
ELK官网：https://www.elastic.co/
ELK官网文档：https://www.elastic.co/guide/index.html
ELK中文手册：https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html
ELK中文社区：https://elasticsearch.cn/
一、Elasticsearch的部署
1.1 简介
ElaticSearch，简称为ES， ES是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。ES也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。
下面是搜索引擎提供的一些使用的案例
GayHub：
2013年初，GitHub抛弃了Solr，采取ElasticSearch 来做PB级的搜索。它使用ElasticSearch搜索20TB的数据，包括13亿文件和1300亿行代码”
Wiki：
维基百科：启动以elasticsearch为基础的核心搜索架构
SoundCloud：
SoundCloud使用ElasticSearch为1.8亿用户提供即时而精准的音乐搜索服务
Baidu：
百度目前广泛使用ElasticSearch作为文本数据分析，采集百度所有服务器上的各类指标数据及用户自定义数据，通过对各种数据进行多维分析展示，辅助定位分析实例异常或业务层面异常。目前覆盖百度内部20多个业务线（包括Casio、云分析、网盟、预测、文库、直达号、钱包、风控等），单集群最大100台机器，200个ES节点，每天导入30TB+数据
Sina：使用ElasticSearch分析处理32亿条实时日志
Alibaba：使用ElasticSearch构建挖财自己的日志采集和分析体系
1.2 使用准备
我把我用到的安装包都上传到百度云了，有需要的可以自提，避免网络的尴尬
以上是关于Elk环境篇 --- 本地快速搭建你的ElasticSearch及Kibana的主要内容，如果未能解决你的问题，请参考以下文章