从诗词大会到图解 ElasticSearch 原理解析

Posted zhisheng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了从诗词大会到图解 ElasticSearch 原理解析相关的知识,希望对你有一定的参考价值。

小史是一个非科班的程序员,虽然学的是电子专业,但是通过自己的努力成功通过了面试,现在要开始迎接新生活了。

对小史面试情况感兴趣的同学可以观看。

从诗词大会到图解 ElasticSearch 原理解析


随着央视诗词大会的热播,小史开始对诗词感兴趣,最喜欢的就是飞花令的环节。


但是由于小史很久没有背过诗词了,飞一个字很难说出一句,很多之前很熟悉的诗句也想不起来。


从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

【倒排索引】


从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

吕老师:但是我让你说出带“前”字的诗句,由于没有索引,你只能遍历脑海中所有诗词,当你的脑海中诗词量大的时候,就很难在短时间内得到结果了。

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

【索引量爆炸】


从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

【搜索引擎原理】


从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

【elasticsearch简介】


从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

吕老师:但是lucene还是一个库,必须要懂一点搜索引擎原理的人才能用的好,所以后来又有人基于lucene进行封装,写出了elasticsearch

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

【elasticsearch基本概念】


从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

吕老师:类型是用来定义数据结构的,你可以认为是mysql中的一张表。文档就是最终的数据了,你可以认为一个文档就是一条记录。

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

吕老师:比如一首诗,有诗题、作者、朝代、字数、诗内容等字段,那么首先,我们可以建立一个名叫poems的索引,然后创建一个名叫poem的类型,类型是通过mapping来定义每个字段的类型,比如诗题、作者、朝代都是keyword类型,诗内容是text类型,而字数是integer类型,最后就是把数据组织成json格式存放进去了。

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

吕老师:这个问题问得好,这涉及到分词的问题,keyword类型是不会分词的,直接根据字符串内容建立反向索引,text类型在存入elasticsearch的时候,会先分词,然后根据分词后的内容建立反向索引。

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

吕老师:之前我们说过,elasticsearch把操作都封装成了httpapi,我们只要给elasticsearch发送http请求就行。比如使用curl -XPUT 'http://ip:port/poems',就能建立一个名为poems的索引,其他操作也是类似的。

从诗词大会到图解 ElasticSearch 原理解析

【elasticsearch分布式原理】


从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

吕老师:没错,elasticsearch也是会对数据进行切分,同时每一个分片会保存多个副本,其原因和hdfs是一样的,都是为了保证分布式环境下的高可用。

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

吕老师:没错,在elasticsearch中,节点是对等的,节点间会通过自己的一些规则选取集群的mastermaster会负责集群状态信息的改变,并同步给其他节点。

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

吕老师:注意,只有建立索引和类型需要经过master,数据的写入有一个简单的routing规则,可以route到集群中的任意节点,所以数据写入压力是分散在整个集群的。

从诗词大会到图解 ElasticSearch 原理解析

【elk系统】


从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

吕老师:其实很多公司都用elasticsearch搭建elk系统,也就是日志分析系统。其中e就是elasticsearchllogstash,是一个日志收集系统,kkibana,是一个数据可视化平台。

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

吕老师:分析日志的用处可大了,你想,假如一个分布式系统有1000台机器,系统出现故障时,我要看下日志,还得一台一台登录上去查看,是不是非常麻烦?

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

吕老师:但是如果日志接入了elk系统就不一样。比如系统运行过程中,突然出现了异常,在日志中就能及时反馈,日志进入elk系统中,我们直接在kibana就能看到日志情况。如果再接入一些实时计算模块,还能做实时报警功能。

从诗词大会到图解 ElasticSearch 原理解析

从诗词大会到图解 ElasticSearch 原理解析

【笔记】


小史学完了elasticsearch,在笔记本上写下了如下记录:

1、反向索引又叫倒排索引,是根据文章内容中的关键字建立索引

2、搜索引擎原理就是建立反向索引

3elasticsearchlucene的基础上进行封装,实现了分布式搜索引擎

4elasticsearch中的索引、类型和文档的概念比较重要,类似于mysql中的数据库、表和行

5elasticsearch也是master-slave架构,也实现了数据的分片和备份

6elasticsearch一个典型应用就是elk日志分析系统


写完,又高高兴兴背诗去了。


观书有感

朱熹

半亩方塘一鉴开,天光云影共徘徊。

问渠那得清如许?为有源头活水来。




生活现场是互联网侦察推出的现场系列中的另一个板块,旨在通过生活中的场景,来解释大数据微服务技术中的基本原理,希望对大家学习技术原理有所帮助。


关注我

相关文章

14、

以上是关于从诗词大会到图解 ElasticSearch 原理解析的主要内容,如果未能解决你的问题,请参考以下文章

终于有人把Elasticsearch原理讲透了!

图解 Elasticsearch 原理

图解elasticsearch原理

用文本挖掘分析了5万首《全唐诗》,竟然发现这些秘密

图解elasticsearch原理

图解搜索引擎ElasticSearch的原理!