干货 | 2018 Elastic 中国开发者大会笔记

0、写在前面
Elastic 中国开发者大会2018，干货满满。已然成为Elastic技术爱好者的狂欢日。

个人感触以下：
一、Elastic各个产品线新特性大放异彩，Elastic早已不止是检索，已经成为一体化的完整数据处理堆栈，从数据摄入到分析展现、价值获取。功能更完善、更加简单、易用用、更可视化、更安全。

二、Elastic XPack/SQL等付费功能会从大公司到小公司逐渐推广。

三、随着Elastic上市，国内的业务也开展的如火如荼，从BAT等互联网公司、华为、到三大运营商、各大银行各个行业、各个领域都在以ELK做为基础架构，根据本身的业务作定制开发、优化、APM、自动化等；
这个势头也扩展到中小企业，将来几年更会满地开花。

四、Elastic社区在Elastic国内外进程中功不可没，“三人行必有我师”，大神们的实践对咱们本身的Elastic学习、实践都有很好的借鉴价值。

一、Elasticsearch 最新产品新特性
1.1 更壮大的产品线
AuditBeat
FunctionBeat
Stack Monitoring
Logstash：Pipline Viewer

1.2 更快的索引
更小的存储
更快的性能提高
更少的空间存储
可视化

在这里插入图片描述

1.3 更完备的kibana
1）kibana加强的字段检索功能
2）可扩展的跨集群检索功能
3）跨大版本检索功能
支持5.X、6.X、7.X检索

4）Sql支持ODBC

1.4 更强大的安全性
1）去掉缺省的密码：changeme
2）加强的oAuth和kerberos安全认证

3）加强的kibana Spaces
开发者
安全
销售团队
每种Space有不一样的权限

1.5 更NB的功能
1）索引管理UI
2）加强版本升级提高
以前的版本升级要先升级到主版本的大版本。
3）跨集群备份

二、Beats创始人分享
2.1 Beats起源
1）咱们更关注Metrics指标而非日志自己。
2）将日志+metric指标+APM集成到一个系统造成Beats。

2.2 全栈的监控
底层、中间层、前端
Beats
开箱即用的解决方案
用模型和module搜集日志
用面板观看指标和维度信息

2.3 更强的可视化
1）性能追求不间断追求；
2）加强数据摄取稳定性，更快、不丢数；
3）kibana管理ES集群、用户权限管理、统一的UI入口。

金融、传统制造业、线下设备等都会发力

三、ElasticCode
云端代码的搜索方案，Elasticsearch能够搜索Code了

3.1 ElasticCode初衷
最好的开发工具，为开发者贡献更好的开发工具。
结合Elastic的影响力，2018.07 codeSearch加入Elastic。

3.2 ElasticCode产品介绍
一、帮助开发者理解、搜索、链接生产数据+代码仓库。
二、集成在kibana中。

3.3 Elastic Code解决问题
小的代码库——能够在IDE里面作到。
若是是大的代码库、地域分布也大——Elastic Code是好的方案。

Github上不也能够搜索代码？ 痛点是什么？
TF-IDF 没有办法区分源代码和非代码；
搜索类的时候，更关注类的定义而不是调用场景；

3.4 ElasticCode还在开发阶段
1）、能够跳转到定义的地方。
2）、告诉方法全部被应用的地方。
3）、列举全部的成员函数、成员变量。
4）、生成环境结合kibana，定位产品问题对应源代码所在。

四、华为云——云搜索Elasticsearch实战
云搜索服务 = Elasticsearch + kibana+华为云化加强自研

4.1 站内搜索
4.1.1 智能分词
解决问题：一、新词；二、短语搜索、三、多租户问题
解决方案：泊松分词器

问题1：新词没法被搜索
举例：李世石是人名。
解决思路：马尔科夫模型训练

问题2：英文短语搜索
解决方案：泊松分词器 一行一个词

问题3：多租户、多词库设定
解决方案：泊松分词器，对每一个索引指定不一样的词库。

4.1.2 智能搜索（越搜越准）
解决方案：
记录用户的点击流信息 + 数据模型 = 提高搜索质量
点击流：文档+搜索语句+时间等信息
数据模型训练：深度学习、神经网络相关

4.2 多媒体搜索
4.2.1 图像检索

适用场景：图像版权、AR呈现、商品检索、素材检索。
方案：提取图像特征、量化、支持向量检索。
向量检索是暴力检索，主要要比较，会有性能和精度问题。
支持向量的表达方式：
1）原始向量
2）Hash值
……

4.2.2 音频检索
适用场景：音频、音乐版权
解决方案：
音频指纹：每段音频找到高能量的点，造成一个指纹。
指纹搜索——转化为文档搜索。
效果：100W首歌，共230ms时间。

4.3 日志&指标
日志接入
CSV文件接入
实时流计算服务FLink

4.4 运维服务化
一、优化
TopHtis + Sumbucket的聚合
TopHits优化为LastHits
二、一键部署
三、一键节点扩容、磁盘扩容
四、监控
五、OBS手动、定时备份

五、新加坡打车 Grab技术运维分享
Grab Elastic运维实践目的：高可用、帮助开发者
Grab相似：滴滴，扩展外卖、大众点评等扩展应用。
铭毅总结：Grab前后经历：AWS -> Elastic Cloud -> Elastic Cloud 企业版本，在Elastic 云化应用走出本身的实践道路。

5.1 个集群扩展到40+集群
5.2 使用AWS云
AWS加了一层代理
离线压测

5.3 监控
1）AWS原生态CloudWatch监控很差
2）DataDog监控
3）Scalyr慢查询、延时监控
https://www.scalyr.com/pricing

5.5 机器和内存关系
六、ELK在暴雪游戏中的应用
早期的监控方案：Guardian
新的数据平台：Telemetry
数据：Event、logs、Metrics
数据流架构

新的数据平台的好处：
BEAM自研告警系统

推荐阅读：https://elasticsearch.cn/article/511