phalapi-进阶篇6(解决大量数据存储数据库分表分库拓展)

#phalapi-进阶篇6(解决大量数据存储数据库分表分库拓展)#

##前言##

时隔半个月随着PHP7的推出为PHP打了一瓶兴奋剂,在性能提高了一倍的状况下咱们会逐渐发现,瓶颈会集中在数据库操做,那咱们的内容就接着数据库读写分离,来聊聊分表分库应该怎么玩,应为PhalApi的分表分库并非很是方便,笔者在这里提供了一个分表分库数据库集群的拓展,详细文档请见博客基于PhalApi的DB集群拓展 V0.1bate 你们能够自行在开源中国扩展Git地址中找到Cluster进行下载使用.

先在这里感谢phalapi框架创始人@dogstar,为咱们提供了这样一个优秀的开源框架.

附上:

官网地址:http://www.phalapi.net/

开源中国Git地址:http://git.oschina.net/dogstar/PhalApi/tree/release

开源中国扩展Git地址:http://git.oschina.net/dogstar/PhalApi-Library

##1. 场景##

在实际工做中,我信奉一句话一切抛开业务的架构设计都是耍流氓因此咱们从场景进行开篇

###1.1 单条数据多查多写多改###

这里作的例子,你们都在玩游戏把,玩游戏里面是否是有角色,角色是否是有装备,经验,物品以及等等,并且他会有一个特别的要求就是实时(由于我角色打了一个怪物得到了100xp咱们不可能告诉他你等6个小时缓存时间结束了再来看,必须是实时的),固然咱们可使用缓存来解决这个问题咱们下节会说道这个问题

那么在这种场景下,一个用户对于角色的操做很是频繁并且惟一咱们就很好采用分表分库的操做了,相对于单表操做他会把全部的操做分散到各各数据库去操做,这样对于单个数据库总执行sql语句量就会有个指数级的降低,以及数据量也会均衡分配到每一个数据库,可是当咱们进行这类单条数据操做的时候根本不会对性能有任何的影响,由于只是经过算法得出了这条记录存在于那个库那张表而已,

###1.2 日志记录分析###

就已上面的例子咱们继续讲,若是有一天你的领导过来提了个需求,我须要一个数据分析系统来统计用户天天什么时间段最活跃.用户平均没人充值了多少钱啊,多少等级下用户冲钱最多啊,若是遇到这种问题大家会怎么办?三分钟思考

咱们先来看看咱们会遇到什么样子的问题,数据量大积累当1000w+以后数据库执行sql基本无法看,大量的写入数据对数据库压力大

咱们再来看看分表分库怎么解决这个问题,1000w+数据库的状况下 好比你是4表4库一共16张表,那每张表的数量就是1000w/16=62w也就是每张表只须要存储62w的数据就ok了,当写入数据的时候会根据ID的顺序均衡写入4库执行sql的压力也就分布到了4个数据库,惟一的问题就是在执行where条件的时候可能须要对前置表进行遍历,而前置表的数据量就是1000w,固然前置表里面只存放ID和where条件的字段

##2. 实现思路##

就笔者在工做中接触到了不少案例的分表分库使用了根据城市,或者是其余的特性进行分表分库规则,这样必定会出现用户分布不均匀致使的莫一个库表压力巨大,我这里使用了均等分分割

你们先看一组图就会明白了

1. 当咱们进行插入的时候的操做以下:

   插入前置表获取主键,经过id得出应该存入几库几表在相应的地方写入数据

2. 当咱们进行单条读取操做的时候操做以下:

   经过id获取应该在几库几表在相应的地方获取数据

3. 当咱们使用where查询的时候操做以下:

   若是where条件在前置表存在从前置表经过where获取结果集ID,经过ID分组到库和表,而后进行查询在拼接结果集统一返回

##3. 优缺点##

1. 优势:

   很好的避开了数据库存放数据过多效率底下的瓶颈

   在单条记录操做性能指数及提高

   数据量大的状况下where条件查询性能提升基本

   能对亿级的数据进行处理并且效率较高

   不须要考虑分表分库规则数据均等分布

2. 缺点

   where查询字段必须预先添加到,前置表否则就必须遍历数据库数量 * 表数量才能获得想要的结果

   where查询就算有前置表的状况下最坏的状况也须要遍历数据库数量 * 表数量才能获得想要的结果

   对一些特定查询天生不足好比排序

##4. 总结##

在本小节的最好简单说起一下,基于PhalApi的DB集群拓展 V0.1bate功能展现比较局限童鞋们能够根据本身的业务需求来以为是否使用,笔者也会在后期继续更新维护完善为一个比较方便的集群拓展.

注:笔者能力有限有说的不对的地方但愿你们可以指出,也但愿多多交流!

官网QQ交流群:421032344 欢迎你们的加入!