elasticsearch的实时搜索性能为啥比solr好

Posted 2023-04-06

网络爬虫架构在Nutch+Hadoop之上，是一个典型的分布式离线批量处理架构，有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取，所以，需要一个分布式搜索引擎，用来对网络爬虫抓取到的网络资源进行实时的索引和搜索。

搜 索引擎架构在ElasticSearch之上，是一个典型的分布式在线实时交互查询架构，无单点故障，高伸缩、高可用。对大量信息的索引与搜索都可以在近 乎实时的情况下完成，能够快速实时搜索数十亿的文件以及PB级的数据，同时提供了全方面的选项，可以对该引擎的几乎每个方面进行定制。支持RESTful 的API，可以使用JSON通过HTTP调用它的各种功能，包括搜索、分析与监控。此外，还为Java、php、Perl、Python以及Ruby等各 种语言提供了原生的客户端类库。

网络爬虫通过将抓取到的数据进行结构化提取之后提交给搜索引擎进行索引，以供查询分析使用。由于搜索引擎的设计目标在于近乎实时的复杂的交互式查询，所以搜索引擎并不保存索引网页的原始内容，因此，需要一个近乎实时的分布式数据库来存储网页的原始内容。

分布式数据库架构在Hbase+Hadoop之上，是一个典型的分布式在线实时随机读写架构。极强的水平伸缩性，支持数十亿的行和数百万的列，能够对网络爬虫提交的数据进行实时写入，并能配合搜索引擎，根据搜索结果实时获取数据。

网 络爬虫、分布式数据库、搜索引擎均运行在普通商业硬件构成的集群上。集群采用分布式架构，能扩展到成千上万台机器，具有容错机制，部分机器节点发生故障不 会造成数据丢失也不会导致计算任务失败。不但高可用，当节点发生故障时能迅速进行故障转移，而且高伸缩，只需要简单地增加机器就能水平线性伸缩、提升数据 存储容量和计算速度。

网络爬虫、分布式数据库、搜索引擎之间的关系：

1、网络爬虫将抓取到的html页面解析完成之后，把解析出的数据加入缓冲区队列，由其他两个线程负责处理数据，一个线程负责将数据保存到分布式数据库，一个线程负责将数据提交到搜索引擎进行索引。

2、搜索引擎处理用户的搜索条件，并将搜索结果返回给用户，如果用户查看网页快照，则从分布式数据库中获取网页的原始内容。

整体架构如下图所示：

爬虫集群、分布式数据库集群、搜索引擎集群在物理部署上，可以部署到同一个硬件集群上，也可以分开部署，形成1-3个硬件集群。

网络爬虫集群有一个专门的网络爬虫配置管理系统来负责爬虫的配置和管理，如下图所示：

搜 索引擎通过分片（shard）和副本（replica）实现了高性能、高伸缩和高可用。分片技术为大规模并行索引和搜索提供了支持，极大地提高了索引和搜 索的性能，极大地提高了水平扩展能力；副本技术为数据提供冗余，部分机器故障不影响系统的正常使用，保证了系统的持续高可用。

有2个分片和3份副本的索引结构如下所示：

一个完整的索引被切分为0和1两个独立部分，每一部分都有2个副本，即下面的灰色部分。

在 生产环境中，随着数据规模的增大，只需简单地增加硬件机器节点即可，搜索引擎会自动地调整分片数以适应硬件的增加，当部分节点退役的时候，搜索引擎也会自 动调整分片数以适应硬件的减少，同时可以根据硬件的可靠性水平及存储容量的变化随时更改副本数，这一切都是动态的，不需要重启集群，这也是高可用的重要保 障。 参考技术A 对比性能其实很不好回答，因为没有我还不知道有 benchmark做了很深入的，而且没有偏见的性能对比。

就实时搜索而言(Near
Real Time Search), feature 实现主要是lucene layer. Elasticsearch 比 SOLR
提前实现这个feature。但是现在Solr 也进步了不少，性能差别并没有很大，毕竟底层都是用lucene 和JVM的嘛。
但是因为实现不一样，feature 和 feature 之前性能差别肯定也还是有的。但是不同的use
case，性能对比结果也是不一样。而且两个产品都有很多参数可以调试， 结果也就更不一样了。

就我个人的理解，毕竟
elasticsearch 是2010 年后 才出现的项目，设计和实现上也更加考究，也更容易上手。 Solr的主要问题是直到 solr
cloud, 一直并没有 很好的scale 和 做分布式的办法。SolrCloud release之后 bug 又很多。

加之就
Elastic 这个产品 Stack 而言，search engine
是一块基石。本身产品内部设计架构强调模块化，使得用户很容易在上面搭建自己的扩展插件 (aws plugin 啥的)。然后 Kibana前台UI 和
Logstash 又给产品找来了很多眼球。我想这是Elasticsearch 现在更流行的原因吧。 参考技术B 对比性能其实很不好回答，因为没有我还不知道有 benchmark做了很深入的，而且没有偏见的性能对比。

就实时搜索而言(Near
Real Time Search), feature 实现主要是lucene layer. Elasticsearch 比 SOLR
提前实现这个feature。但是现在Solr 也进步了不少，性能差别并没有很大，毕竟底层都是用lucene 和JVM的嘛。
但是因为实现不一样，feature 和 feature 之前性能差别肯定也还是有的。但是不同的use
case，性能对比结果也是不一样。而且两个产品都有很多参数可以调试， 结果也就更不一样了。

就我个人的理解，毕竟
elasticsearch 是2010 年后 才出现的项目，设计和实现上也更加考究，也更容易上手。 Solr的主要问题是直到 solr
cloud, 一直并没有 很好的scale 和 做分布式的办法。SolrCloud release之后 bug 又很多。

加之就
Elastic 这个产品 Stack 而言，search engine
是一块基石。本身产品内部设计架构强调模块化，使得用户很容易在上面搭建自己的扩展插件 (aws plugin 啥的)。然后 Kibana前台UI 和
Logstash 又给产品找来了很多眼球。我想这是Elasticsearch 现在更流行的原因吧。

Elasticsearch 学习笔记1 入门

参考资料

官方学习文档：https://www.elastic.co/guide/index.html 
入门中文权威指南： http://es.xiaoleilu.com/

1 认识es

elasticsearch功能：

- 全文检索(可以解决DB检索问题(文本检索性能，全文检索等))
- 分布式的实时文件存储，每个字段都被索引并可被搜索(牛逼)
- 分布式的实时分析搜索引擎(实时性能好)
- 可以扩展到上百台服务器，处理PB级结构化或非结构化数据(容易扩展，支持大数据量)

基于apache lucence，和solr比较：http://www.cnblogs.com/chowmin/articles/4629220.html，相比solr，有以下几点优点：

- elatisticsearch更加适用于实时搜索领域：实时建立索引时, Solr会产生io阻塞，查询性能较差
- 在数据量增长时，elatisticsearch的性能优于solr

两者比较：

- Solr 利用 Zookeeper 进行分布式管理，而 Elasticsearch 自身带有分布式协调管理功能;
- Solr 支持更多格式的数据，而 Elasticsearch 仅支持json文件格式；
- Solr 官方提供的功能更多，而 Elasticsearch 本身更注重于核心功能，高级功能多有第三方插件提供；
- Solr 在传统的搜索应用中表现好于 Elasticsearch，但在处理实时搜索应用时效率明显低于 Elasticsearch。
- Solr是传统搜索应用的有力解决方案，但 Elasticsearch 更适用于新兴的实时搜索应用。

2 启动与运行

安装教程间中文权威指南，安装完成后，有两个端口9200和9300：

- 9200： http Restful接口，用于展示集群数据以及使用http进行数据录入以及检索需求
- 9300： transport端口，用于与JAVA客户端通信以及集群间通信，使用es自身传输协议：Elasticsearch Transport Protocol

3 es初探

文档：

- es是面向文档，可以对文档进行索引、搜索、排序、过滤
- es使用json描述文档
- 文档基本等同于mysql/mongodb的一行

索引(indexing)：

- es中存储数据的过程就叫索引
- Relational DB -> Databases        -> Tables -> Rows -> Columns
- Elasticsearch -> Indices(indexes) -> Types  -> Documents -> Fields
- es-->(n)indices-->(n)types-->(n)documents-->(n)fields
- es使用倒排索引(inverted index)的数据结构加速消息检索

创建索引/类型/文档：

- 不需要显示去创建索引和类型，只需和mongodb类似直接插入文档后会自动创建index和type
- 比如curl -X POST http://xxx:9200/sailor/user/1 -d \'xxx\'，就会自动创建index(sailor)和type(user)
- 通过HTTP的 POST/GET/PUT/DELETE操作可以对文档进行增删改查

检索：

- 使用_search可以检索符合条件的文档
- 使用_search?q=first_name:xiao简单进行查询
- 可以使用DSL语言进行搜索，使用filter
- es在进行搜索时会对文档进行相关性计分，基于相关性由高到低的顺序排列文档
- 聚合能支持各种类型聚合，如groupBy，取平均数等