阿里云Elasticsearch的X-Pack：机器学习、安全保障和可视化

摘要： ELK是日志分析领域较为流行的技术选择，很多阿里云用户选择在ECS上搭建开源Elasticsearch。与自建开源Elastisearch相比，阿里云Elasticsearch作了性能优化，支持弹性扩容，并搭载了商业版组件X-Pack，为用户提供即开即用的托管服务。

X-Pack
ELK是日志分析领域较为流行的技术选择，很多阿里云用户选择在ECS上搭建开源Elasticsearch。目前，阿里云和ES官方Elastic公司展开了产品合做，联合推出了阿里云Elasticsearch。与自建开源软件相比，这款产品作了性能优化，支持弹性扩容，并搭载了商业版组件X-Pack，为用户提供即开即用的托管服务。本文将对商业版组件X-Pack作深刻解读。
X-Pack介绍

阿里云Elasticsearch搭载了V5.5版本的X-Pack，提供安全、监控、告警、报告、图分析和机器学习六大扩展组件，无需额外安装插件，就能与Elastisearch、Kibana无缝对接。

安全组件

2017年1月爆发了Elasticsearch数据勒索事件，涉及到的数据至少500亿条，被删除数据至少450TB。X-Pack中的安全组件提供了对应的安全解决方案，让IT和应用团队可以依赖 X-Pack 来区分和管理正经常使用户和恶意入侵者；与此同时，Elasticsearc中存储的数据始终享有可靠的安全保障，公司高管和客户都能高枕无忧。

密码管理

结合 Active Directory 和 LDAP 等受权系统，能够建立自定义 Realm 来支持您本身开发的身份管理系统，或者使用咱们的内置原生验证。

用户和角色权限管理

控制用户在 Elasticsearch中的权限。受权 IT /运营团队监控 Elasticsearch 集群健康情况，但不受权查看或修改数据。或者为营销团队授予营销专用数据的只读权限，但拒绝他们访问其余索引。

数据加密

借助 SSL/TLS 加密，您能够保护端对端传输、HTTP 传输，并在整个 Elasticsearch传输客户端流量。IP 筛选也可以防止未经批准的主机加入您的集群或与您的集群通讯。

提供审核日志

X-Pack 中的审核日志功能可以让您轻松地维护全部系统和用户活动的完整记录，它可帮助您保持对内部安全政策以及 HIPAA、PCI DSS、FISMA、ISO 等规范的合规性。

监控和告警组件

ELK应用性能监控

X-Pack提供对 Elasticsearch、Kibana 和 Logstash 的性能监控。仪表板集合可以帮助您在各个层级上评估仪表板的状态，同时为您提供全部必要的信息，让您始终最大限度地发挥 ELK 系统的做用。

执行实时分析和历史分析

能够将上周、上个月或去年的集群性能做为参考，分析今天的集群性能。并可以帮助您优化磁盘空间和内存，利用历史数据进行将来容量规划。

定制和管理告警

检测数据变化，可定制告警信息和通知渠道。经过Kibana能够管理和监控告警，并能够对告警历史记录进行查看和操做。

报告组件

阿里云Elaticsearch用户能够开箱即用X-Pack的报告组件功能，可以为Kibana 可视化或仪表板快速生成报告。用户能够即需即取报告、预定报告、根据特定条件触发报告，并自动将报告分享给他人。报告所采用的架构为报告赋予了可扩展性，而且便于报告传输，让您可以随时随地获取 Kibana 中的信息。

Graph组件

Graph 组件是一种基于 API 和基于 UI 的工具，可以让您数据中存在的相关关系浮现出来，同时可以在任何规模下利用各项 Elasticsearch 功能，例如分布式查询执行、实时数据可用性和索引等。 可应用于反欺诈、个性化推荐、安全分析等场景。

在 Kibana 中将关系可视化

Kibana 中的图表 UI 让您可以直观地看到Graph功能挖掘出的联系。 Kibana 中提供的任何地图、时间轴、饼图或原始文档可视化，向下钻取详细信息。点击由网络化实体构成的图并与图交互，可查看联系强度，甚至能够自定义颜色和图标。

机器学习组件

数据复杂多变，当出现基础设施问题、入侵者或业务问题时，几乎不可能利用规则或经过人工监视仪表板发现问题。X-Pack引入了机器学习功能能够实时地自动模拟 Elasticsearch 数据的行为——趋势、周期等，从而更快地发现问题、简化问题根源分析、下降误报率。

IT 运维

发现应用请求数量异常下降，而后深刻探究致使异常的问题服务器。

安全性分析

发现异常网络活动或用户行为，趁攻击者制造破坏以前准确地定位攻击者。

业务分析

若是您的电子商务网站中废弃购物车异常增多，则会给您发出通知。

阿里云Elasticsearch

阿里云Elasticsearch已正式发布啦，阿里云携手Elastic开源官方联合开发，集成5.5.3商业版本X-Pack功能，欢迎开通使用。