郑重说明,可能不少知识本身没有讲得很清楚,但愿你们批评指正,我会学习和修改的,谢谢~~
后面会继续更新实战篇~~前端
我是属于一个ES小白,为了解决部门内部的一些瓶颈问题,学习ES而后去实践的。
举三个场景吧,固然场景应该是不少的mysql
若是mysql表过大以后主要千万级以上,这个时候会出现各类各样的问题,好比很是常见的就是慢查询,这个主要是一开始业务量不大,而后忽然业务猛增,慢查询问题就来了。而后还有就是导出数据问题,须要支持各类灵活的筛选条件来大批量的下载导出数据。实际场景就是对帐,还有数据分析。
固然解决上面这些问题,应该有不少种方法,我是采用将数据同步到ES,包括全量和增量同步,而后写一个查询服务,前端直接调用个人查询接口就OK了。如今已经投入使用,几十万的数据通常不超过3分钟,表数据都是千万级的或是更多。算法
目前若是作指标监控,本身去开发一套会很是的复杂,可是若是使用ES就不同的,能够轻松的作到这件事情。咱们就是用ES作一套行为日志收集,以及利用现有的mysql数据到ES的开源工具logstash、canal、go-mysql-elasticsearch,将数据近实时的放在ES上面,而后经过grafana或是kibana,进行分析和展现,能够近实时的监控咱们作的部分业务的效果,即便的作出调整,主要也是业务须要,不少的业务可能不须要,只是个人这些业务是很是须要这个,由于直接会影响收入。sql
直接用ES做为数据存储,也就是数据不存mysql了。我是作了一个,不过不是所有数据都是用ES的,还有一些数据是存在mysql数据库中的。若是想用ES存储的话,必定要保证你的业务是一些实时性要求没有那么高的。数据库
elasticsearch学习笔记(一)——大白话告诉你什么是elasticsearch
https://segmentfault.com/a/11...json
elasticsearch学习笔记(二)——elasticsearch的功能、适用场景以及特色介绍
https://segmentfault.com/a/11...segmentfault
elasticsearch学习笔记(三)——Elasticsearch的核心概念
https://segmentfault.com/a/11...windows
elasticsearch学习笔记(四)——在windows上安装和启动Elasticsearch
https://segmentfault.com/a/11...api
elasticsearch学习笔记(五)——快速入门案例实战电商网站商品管理:集群健康检查,文档的CRUD
https://segmentfault.com/a/11...性能优化
elasticsearch学习笔记(六)——快速入门案例实战之电商网站商品管理:多种搜索方式
https://segmentfault.com/a/11...
elasticsearch学习笔记(七)——快速入门案例实战之电商网站商品管理:嵌套聚合,下钻分析,聚合分析
https://segmentfault.com/a/11...
elasticsearch学习笔记(八)——剖析Elasticsearch的基础分布式架构
https://segmentfault.com/a/11...
elasticsearch学习笔记(九)——shard&replica机制以及ES集群节点的问题
https://segmentfault.com/a/11...
elasticsearch学习笔记(十)——Elasticsearch横向扩容过程与容错机制
https://segmentfault.com/a/11...
elasticsearch学习笔记(十一)——document的核心元数据、操做以及原理
https://segmentfault.com/a/11...
elasticsearch学习笔记(十二)——Elasticsearch并发冲突问题以及锁机制
https://segmentfault.com/a/11...
elasticsearch学习笔记(十三)——Elasticsearch乐观锁并发控制实战
https://segmentfault.com/a/11...
elasticsearch学习笔记(十四)——Elasticsearch partial update实现原理和实践
https://segmentfault.com/a/11...
elasticsearch学习笔记(十五)——Elasticsearch partial update内置乐观锁并发控制
https://segmentfault.com/a/11...
elasticsearch学习笔记(十六)——Elasticsearch mget批量查询api实战
https://segmentfault.com/a/11...
elasticsearch学习笔记(十七)——Elasticsearch document数据路由原理以及主分片的不可变
https://segmentfault.com/a/11...
elasticsearch学习笔记(十八)——Elasticsearch document增删改内部原理,写一致性机制
https://segmentfault.com/a/11...
elasticsearch学习笔记(十九)——Elasticsearch document查询内部原理
https://segmentfault.com/a/11...
elasticsearch学习笔记(二十)——Elasticsearch bulk api的奇特json格式与底层性能优化关系
https://segmentfault.com/a/11...
elasticsearch学习笔记(二十一)——Elasticsearch _search结果的含义以及timeout机制
https://segmentfault.com/a/11...
elasticsearch学习笔记(二十二)——Elasticsearch multi-index搜索模式以及搜索原理
https://segmentfault.com/a/11...
elasticsearch学习笔记(二十三)——Elasticsearch 分页搜索以及深分页性能问题
https://segmentfault.com/a/11...
elasticsearch学习笔记(二十四)——Elasticsearch query string语法以及_all元数据原理
https://segmentfault.com/a/11...
elasticsearch学习笔记(二十五)——Elasticsearch mapping详解以及索引内部原理
https://segmentfault.com/a/11...
elasticsearch学习笔记(二十六)——Elasticsearch query DSL搜索实战
https://segmentfault.com/a/11...
elasticsearch学习笔记(二十七)——Elasticsearch filter与query
https://segmentfault.com/a/11...
elasticsearch学习笔记(二十八)——Elasticsearch 实战各类query搜索
https://segmentfault.com/a/11...
elasticsearch学习笔记(二十九)——Elasticsearch 将一个field索引两次来解决字符串排序问题
https://segmentfault.com/a/11...
elasticsearch学习笔记(三十)——Elasticsearch 相关度评分 TF&IDF算法
https://segmentfault.com/a/11...
elasticsearch学习笔记(三十一)——Elasticsearch doc value正排索引
https://segmentfault.com/a/11...
elasticsearch学习笔记(三十二)——Elasticsearch 解密query、fetch phrase原理
https://segmentfault.com/a/11...
elasticsearch学习笔记(三十三)——Elasticsearch Bouncing Results问题
https://segmentfault.com/a/11...
elasticsearch学习笔记(三十四)——Elasticsearch 基于scoll技术滚动搜索大量数据
https://segmentfault.com/a/11...
elasticsearch学习笔记(三十五)——Elasticsearch 索引管理
https://segmentfault.com/a/11...
elasticsearch学习笔记(三十六)——Elasticsearch 内核原理
https://segmentfault.com/a/11...
郑重说明,可能不少知识本身没有讲得很清楚,但愿你们批评指正,我会学习和修改的,谢谢~~