SQL Server数据库大型应用解决方案总结

随着互联网应用的普遍普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，天天百万级甚至上亿的PV无疑对数据库形成了至关高的负载。对于系统的稳定性和扩展性形成了极大的问题。

　　1、负载均衡技术

　　负载均衡集群是由一组相互独立的计算机系统构成，经过常规网络或专用网络进行链接，由路由器衔接在一块儿，各节点相互协做、共同负载、均衡压力，对客户端来讲，整个群集能够视为一台具备超高性能的独立服务器。

　　一、实现原理

　　实现数据库的负载均衡技术，首先要有一个能够控制链接数据库的控制端。在这里，它截断了数据库和程序的直接链接，由全部的程序来访问这个中间层，而后再由中间层来访问数据库。这样，咱们就能够具体控制访问某个数据库了，而后还能够根据数据库的当前负载采起有效的均衡策略，来调整每次链接到哪一个数据库。

　　二、实现多数据库数据同步

　　对于负载均衡，最重要的就是全部服务器的数据都是实时同步的。这是一个集群所必需的，由于，若是数不据实时、不一样步，那么用户从一台服务器读出的数据，就有别于从另外一台服务器读出的数据，这是不能容许的。因此必须实现数据库的数据同步。这样，在查询的时候就能够有多个资源，实现均衡。比较经常使用的方法是Moebius for SQL Server集群，Moebius for SQL Server集群采用将核心程序驻留在每一个机器的数据库中的办法，这个核心程序称为Moebius for SQL Server 中间件，主要做用是监测数据库内数据的变化并将变化的数据同步到其余数据库中。数据同步完成后客户端才会获得响应，同步过程是并发完成的，因此同步到多个数据库和同步到一个数据库的时间基本相等;另外同步的过程是在事务的环境下完成的，保证了多份数据在任什么时候刻数据的一致性。正由于Moebius 中间件宿主在数据库中的创新，让中间件不但能知道数据的变化，并且知道引发数据变化的SQL语句，根据SQL语句的类型智能的采起不一样的数据同步的策略以保证数据同步成本的最小化。

转播到腾讯微博

数据条数不多，数据内容也不大，则直接同步数据

　　数据条数不多，可是里面包含大数据类型，好比文本，二进制数据等，则先对数据进行压缩而后再同步，从而减小网络带宽的占用和传输所用的时间。

 

　　数据条数不少，此时中间件会拿到形成数据变化的SQL语句， 而后对SQL语句进行解析，分析其执行计划和执行成本，并选择是同步数据仍是同步SQL语句到其余的数据库中。此种状况应用在对表结构进行调整或者批量更改数据的时候很是有用。

　　三、优缺点

　　(1) 扩展性强：当系统要更高数据库处理速度时，只要简单地增长数据库服务器就 能够获得扩展。

　　(2) 可维护性：当某节点发生故障时，系统会自动检测故障并转移故障节点的应用，保证数据库的持续工做。

　　(3) 安全性：由于数据会同步的多台服务器上，能够实现数据集的冗余，经过多份数据来保证安全性。另外它成功地将数据库放到了内网之中，更好地保护了数据库的安全性。

　　(4) 易用性：对应用来讲彻底透明，集群暴露出来的就是一个IP

　　(1) 不可以按照Web服务器的处理能力分配负载。

　　(2) 负载均衡器(控制端)故障，会致使整个数据库系统瘫痪。

　　2、数据库的读写分离

　　第2页：2、数据库的读写分离

　　1，实现原理

　　读写分离简单的说是把对数据库读和写的操做分开对应不一样的数据库服务器，这样能有效地减轻数据库压力，也能减轻io压力。主数据库提供写操做，从数据库提供读操做，其实在不少系统中，主要是读的操做。当主数据库进行写操做时，数据要同步到从的数据库，这样才能有效保证数据库完整性。

转播到腾讯微博

 

(ebay的读写比率是260:1,ebay的读写分离)

转播到腾讯微博

 

(微软数据库分发)

　　2，实现方法

 

　　在MS Sql server中可使用发布定义的方式实现数据库复制，实现读写分离，复制是将一组数据从一个数据源拷贝到多个数据源的技术，是将一份数据发布到多个存储站点上的有效方式。使用复制技术，用户能够将一份数据发布到多台服务器上。复制技术能够确保分布在不一样地点的数据自动同步更新，从而保证数据的一致性。SQL SERVER复制技术类型有三种，分别是：快照复制、事务复制、合并复制。SQL SERVER 主要采用出版物、订阅的方式来处理复制。源数据所在的服务器是出版服务器，负责发表数据。出版服务器把要发表的数据的全部改变状况的拷贝复制到分发服务器，分发服务器包含有一个分发数据库，可接收数据的全部改变，并保存这些改变，再把这些改变分发给订阅服务器。

　　3，优缺点

　　(1)数据的实时性差:数据不是实时同步到自读服务器上的，当数据写入主服务器后，要在下次同步后才能查询到。

　　(2)数据量大时同步效率差：单表数据量过大时插入和更新因索引,磁盘IO等问题，性能会变的不好。

　　(3)同时链接多个(至少两个)数据库：至少要链接到两个数据数据库，实际的读写操做是在程序代码中完成的，容易引发混乱

　　(4)读具备高性能高可靠性和可伸缩:只读服务器，由于没有写操做，会大大减轻磁盘IO等性能问题，大大提升效率;只读服务器能够采用负载均衡，主数据库发布到多个只读服务器上实现读操做的可伸缩性。

　　第3页：3、数据库/数据表 拆分(分布式)

　　经过某种特定的条件，将存放在同一个数据库中的数据分散存放到多个数据库上，实现分布存储，经过路由规则路由访问特定的数据库，这样一来每次访问面对的就不是单台服务器了，而是N台服务器，这样就能够下降单台机器的负载压力。提示：sqlserver 2005版本以后，能够友好的支持“表分区”。

　　垂直(纵向)拆分：是指按功能模块拆分，好比分为订单库、商品库、用户库...这种方式多个数据库之间的表结构不一样。

　　水平(横向)拆分：将同一个表的数据进行分块保存到不一样的数据库中，这些数据库中的表结构彻底相同。

转播到腾讯微博

 

(纵向拆分)

 

(横向拆分)

　　1，实现原理

 

　　使用垂直拆分，主要要看应用类型是否合适这种拆分方式，如系统能够分为，订单系统，商品管理系统，用户管理系统业务系统比较明的，垂直拆分能很好的起到分散数据库压力的做用。业务模块不明晰，耦合(表关联)度比较高的系统不适合使用这种拆分方式。可是垂直拆分方式并不能完全解决全部压力问题，例如 有一个5000w的订单表，操做起来订单库的压力仍然很大，如咱们须要在这个表中增长(insert)一条新的数据，insert完毕后，数据库会针对这张表从新创建索引，5000w行数据创建索引的系统开销仍是不容忽视的，反过来，假如咱们将这个表分红100个table呢，从table_001一直到table_100，5000w行数据平均下来，每一个子表里边就只有50万行数据，这时候咱们向一张只有50w行数据的table中insert数据后创建索引的时间就会呈数量级的降低，极大了提升了DB的运行时效率，提升了DB的并发量，这种拆分就是横向拆分

　　2，实现方法

　　垂直拆分，拆分方式实现起来比较简单，根据表名访问不一样的数据库就能够了。横向拆分的规则不少，这里总结前人的几点，

　　(1)顺序拆分：如能够按订单的日前按年份才分，2003年的放在db1中，2004年的db2,以此类推。固然也能够按主键标准拆分。

　　优势：可部分迁移

　　缺点：数据分布不均，可能2003年的订单有100W，2008年的有500W。

　　(2)hash取模分： 对user_id进行hash(或者若是user_id是数值型的话直接使用user_id的值也可)，而后用一个特定的数字，好比应用中须要将一个数据库切分红4个数据库的话，咱们就用4这个数字对user_id的hash值进行取模运算，也就是user_id%4,这样的话每次运算就有四种可能：结果为1的时候对应DB1;结果为2的时候对应DB2;结果为3的时候对应DB3;结果为0的时候对应DB4，这样一来就很是均匀的将数据分配到4个DB中。

　　优势：数据分布均匀

　　缺点：数据迁移的时候麻烦;不能按照机器性能分摊数据 。

　　(3)在认证库中保存数据库配置

　　就是创建一个DB，这个DB单独保存user_id到DB的映射关系，每次访问数据库的时候都要先查询一次这个数据库，以获得具体的DB信息，而后才能进行咱们须要的查询操做。

　　优势：灵活性强，一对一关系

　　缺点：每次查询以前都要多一次查询，会形成必定的性能损失。

 

原文地址：http://hb.qq.com/a/20120111/000216.htm