阿里云Elasticsearch的X-Pack：机器学习安全保障和可视化

Posted 2021-04-21 阿里云云栖号

ELK是日志分析领域较为流行的技术选择，不少阿里云用户选择在ECS上搭建开源Elasticsearch。目前，阿里云和ES官方Elastic公司展开了产品合作，联合推出了阿里云Elasticsearch。与自建开源软件相比，这款产品做了性能优化，支持弹性扩容，并搭载了商业版组件X-Pack，为用户提供即开即用的托管服务。本文将对商业版组件X-Pack做深入解读。

X-Pack介绍

阿里云Elasticsearch搭载了V5.5版本的X-Pack，提供安全、监控、告警、报告、图分析和机器学习六大扩展组件，无需额外安装插件，就能与Elastisearch、Kibana无缝对接。

安全组件

017年1月爆发了Elasticsearch数据勒索事件，涉及到的数据至少500亿条，被删除数据至少450TB。X-Pack中的安全组件提供了对应的安全解决方案，让IT和应用团队能够依赖 X-Pack 来区分和管理正常用户和恶意入侵者；与此同时，Elasticsearc中存储的数据始终享有可靠的安全保障，公司高管和客户都能高枕无忧。

密码管理

结合 Active Directory 和 LDAP 等授权系统，可以创建自定义 Realm 来支持您自己开发的身份管理系统，或者使用我们的内置原生验证。

用户和角色权限管理

控制用户在 Elasticsearch中的权限。授权 IT /运营团队监控 Elasticsearch 集群健康状况，但不授权查看或修改数据。或者为营销团队授予营销专用数据的只读权限，但拒绝他们访问其他索引。

数据加密

借助 SSL/TLS 加密，您可以保护端对端传输、HTTP 传输，并在整个 Elasticsearch传输客户端流量。IP 筛选也能够防止未经批准的主机加入您的集群或与您的集群通信。

提供审核日志

X-Pack 中的审核日志功能能够让您轻松地维护所有系统和用户活动的完整记录，它可帮助您保持对内部安全政策以及 HIPAA、PCI DSS、FISMA、ISO 等规范的合规性。

监控和告警组件

ELK应用性能监控

X-Pack提供对 Elasticsearch、Kibana 和 Logstash 的性能监控。仪表板集合能够帮助您在各个层级上评估仪表板的状态，同时为您提供所有必要的信息，让您始终最大限度地发挥 ELK 系统的作用。

执行实时分析和历史分析

可以将上周、上个月或去年的集群性能作为参考，分析今天的集群性能。并能够帮助您优化磁盘空间和内存，利用历史数据进行未来容量规划。

定制和管理告警

检测数据变化，可定制告警信息和通知渠道。通过Kibana可以管理和监控告警，并可以对告警历史记录进行查看和操作。

报告组件

阿里云Elaticsearch用户可以开箱即用X-Pack的报告组件功能，能够为Kibana 可视化或仪表板快速生成报告。用户可以即需即取报告、预约报告、根据特定条件触发报告，并自动将报告分享给他人。报告所采用的架构为报告赋予了可扩展性，并且便于报告传输，让您能够随时随地获取 Kibana 中的信息。

Graph组件

raph 组件是一种基于 API 和基于 UI 的工具，能够让您数据中存在的相关关系浮现出来，同时能够在任何规模下利用各项 Elasticsearch 功能，例如分布式查询执行、实时数据可用性和索引等。 可应用于反欺诈、个性化推荐、安全分析等场景。

在 Kibana 中将关系可视化

Kibana 中的图表 UI 让您能够直观地看到Graph功能挖掘出的联系。 Kibana 中提供的任何地图、时间轴、饼图或原始文档可视化，向下钻取详细信息。点击由网络化实体构成的图并与图交互，可查看联系强度，甚至可以自定义颜色和图标。

机器学习组件

数据复杂多变，当出现基础设施问题、入侵者或业务问题时，几乎不可能利用规则或通过人工监视仪表板发现问题。X-Pack引入了机器学习功能可以实时地自动模拟 Elasticsearch 数据的行为——趋势、周期等，从而更快地发现问题、简化问题根源分析、降低误报率。

IT 运维

发现应用请求数量异常降低，然后深入探究导致异常的问题服务器。

安全性分析

发现异常网络活动或用户行为，趁攻击者制造破坏之前准确地定位攻击者。

业务分析

如果您的电子商务网站中废弃购物车异常增多，则会给您发出通知。

精彩直播

12月13日19:30，《2017阿里双11技术十二讲》在线直播峰会开播，独家分享双11背后技术最佳实践，欢迎点击左下角【阅读原文】观看直播！

-END-

云栖社区

ID：yunqiinsight

云计算丨互联网架构丨大数据丨机器学习丨运维