Elasticsearch， 你值得拥有！—云栖大会 Elasticsearch 场景化应用全景回顾

Posted 2020-12-22

1、为什么要参加云栖大会？

今年是线上的方式，参加大会实际就是看直播或者回放视频。

我在多种场合提及我的偶像是俞敏洪，多年前他在高校的演讲有这么一段：“我和马云的聊天，你们想不想听？当然想听，因为我们聊的内容都是书本上看不到的内容”。

是的，云栖大会大咖云集，作为Elastic爱好者，参加大会就是想看平时看不到、学不到的内容。

认知的四个维度中“不知道自己不知道”最为可怕。

之前微信群中有这么一段讨论：

[其实能做得很多 es本身一开始更多的是文本相关性的搜索。但是其实现在信息已经更多是图像化、视频化、其他媒体类型。其实很重要得一点。就是原始数据进行embeding生成向量，存储向量，进行相似性检索。Elasticsearch 在这方面需要做的东西还是有很大空间]

引发了大家关于 Elasticsearch 未来发展方向的讨论。

本次云栖大会Elasticsearch 场景化应用给出了答案。

我们从：Elastic Stack 三大解决方案、从Zero到Hero学习路径、阿里云 Elasticsearch 牛逼之处做下复盘。

2、Elastic Stack 三大解决方案

2.1 “3 + 1“ 战略场景

“3 + 1”是指在Elastic Stack 基础上在Elastic 企业搜索、Elastic 全观察、Elastic 安全 三个核心业务场景发力。

• 1：代表的是——Elastic Stack。

• 3：代表的是——搜索、可观察性、安全。

1）搜索——不用过多介绍了，传统的搜索场景，比如：网页搜索、APP搜索 等。

2）可观察性——则是围绕企业基础设施数据，日志、指标、APM，三位一体。

ps: 我一直认为：可观察性 和 全观察 中文不好理解，甚至辞海里面都没有收录。本质是：数据可视化的意思。

英文意思：Elastic Observability。最新官方文档的这个翻译，能相对好理解一些。

3）安全是 Elastic 重点在发力的一个方向，这一块 Elastic 同样是一个行业的颠覆者。

Elastic 是业界第一个提供开源免费的终端安全防护解决方案的厂商，最近还发布了自己的开源检测规则库，开放、透明和社区协作将是未来应对大规模安全威胁的不二选择，企业能够借助 Elastic 的 SIEM 和终端防护方案，打造自己的 SOC 团队，保护企业的数字资产。

一句话：Elastic 已经由原来的 Elasticsearch 检索工具转变为 Elastic Stack 解决方案提供商。

2.2.如何实现全方位数据可视性？

2.2.1 让数据采集更简单

• Elastic Agent

• 解决：beats 多，不方便管理的问题

• 屏蔽多agent复杂性问题，减少安装复杂的困扰

• Fleet

• 集群管理大量Agent

• ingest Manager

• UI 管理，对接各种数据源

• 更好的开箱即用

Data stream

• 对不同数据集更好管理数据的全生命周期

2.2.2 异步搜索，承载更多数据

对于大数据离线非实时业务场景，对检索响应时间没有要求，但很在意返回结果的场景非常有用。

2.2.3 堆内存升级改造

为了提升搜索、聚合性能，Elasticsearch 一直在快步迭代升级自己。

2.2.4 更好的可视化效果

• 图表下钻、不同dashboad 跳转
  做过大数据分析的都知道，不能下钻很痛苦，还得借助：echart等自己实现。

• kibana Lens 持续改进 支持饼图、圈图、树状结构图
  图表& 分析持续更新

• 全新告警系统 整合解决方案，配置更容易。

• APM Sevice Map 全字段自动化监测

2.2.5 更好的分析和展示

一句话：Elasticsearch 要革数据分析的命！

传统的数据分析师借助Elastic stack 可以更高效实现分析工作，简直“如虎添翼”。

甚至：一些开发人员、运维人员都可以实现自己的多种维度数据分析。

3、从 Zero 到 Hero Elastic Stack 学习路径

李猛老师文风流畅、点评辛辣，写出了很多漂亮的 Elasticsearch 实战博文。

李猛老师在这个版本谈了自己的想法，梳理总结如下。

3.1 系统化学习

摒弃拼装学习、碎片化学习的思维。

的确，遇到问题解决问题的那一刻很有成就感，但没有系统化的思维，很容易出现要么“坐井观天”、要么“钻牛角尖”。

3.2 如何提升？

1、认知要非常正确

2、宽广的胸怀学习 Elasticsearch，ES 不足的地方可以结合其他方案完善。

3、知道 Elastic Stack 能干什么、不能干什么？

4、定位自己，开发、架构、运维、源码、算法，不同定位，不同学习路径。

但，要想深入，源码是必要的。

5、多看书、多看视频。

6、多交流，每个人的业务场景、知识体系都是有局限性的。

交流包含但不限于：经验交流，项目交流，认知交流等。

4、牛逼的阿里云 Elasticsearch

• 简单——无限的存储空间及计算能力

• 好用——丰富的检索功能扩展（人脸识别，dsl2sql）

• 便宜——各类场景化套餐

• 写入高效——消息队列缓存，提高数据写入能力。

• Eyou——健康监测，探测潜在风险，让开发更便捷。

• 计算和存储分离——不需要ES多副本机制，依赖云存储

• 云端组件化——分词、SQL、向量检索、流量控制

5、小结

正如阮一鸣老师所说：“Elasticsearch 当前面临：控制成本、提高精度、保持高性能的挑战，为了应对挑战 Elasticsearch 推出了：冷热架构、跨集群复制、快照搜索，还有这次会议提到的：异步搜索、Off heap 等特性，相比于其他的大数据产品，Elasticsearch 迎合了大数据时代的趋势。” 所以，Elastic 发展的很快，版本更新迭代的也快！

作为 Elastic 的铁粉，每次看到新的功能、技术点出现（比如：近期的 Wildcard Type、Date Streams 等），都会很兴奋。

圆桌会议的最后，王刚老师让每位嘉宾一句话做总结：

Medcl 老师：选 Elasticsearch 就对了！

阮一鸣老师：Elasticsearch， 你值得拥有！

李猛老师：任何数据问题都可以用 ES 来拆解，如果不能，请再来一套！

这个小结作为本文的结尾也非常贴合。

6、彩蛋环节

• 视频建议：2倍速播放，挺2遍，挺有意思的（很有喜感）。

• 王刚老师 和 medcl 老师书房的书单，能否提供一下（我只看到了一本《这就是搜索引擎》）？给广大 Elastic 爱好者提供这方面的入门启蒙知识。

可能是中国关注人数最多的非官方 Elastic 公众号！