浅谈千万级PV/IP规模高性能高并发网站架构

时间 2021-01-30

标签 php css html 前端 java mysql linux nginx 面试 sql 栏目网站开发繁體版

原文原文链接

原创做者：老男孩linux实战运维培训机构 老男孩 QQ：31333741
说明：几个月前老男孩发过一次相似的文章，本次为了参加一个朋友邀请的活动，稍微完善了一下，欢迎各位同仁一块儿交流网站架构技术。
php

文章架构简图：
css

高并发访问的核心原则其实就一句话“把全部的用户访问请求都尽可能往前推”。html

若是把来访用户比做来犯的"敌人"，咱们必定要把他们挡在800里地之外，即不能让他们的请求一下打到咱们的指挥部（指挥部就是数据库及分布式存储）。前端

如：能缓存在用户电脑本地的，就不要让他去访问CDN。能缓存CDN服务器上的，就不要让CDN去访问源（静态服务器）了。能访问静态服务器的，就不要去访问动态服务器。以此类推：能不访问数据库和存储就必定不要去访问数据库和存储。java

提及来很轻松，实际作起来却不容易，但只要稍加努力是能够作到的，Google的日独立IP过亿不也作到了么？咱们这几千万的PV站比起Google不是小屋见大屋了。咱们仍是先从咱们的小屋搭起吧！哈哈！下面内容的介绍起点是千万级别的PV站，也能够支持亿级PV的网站架构。mysql

高性能高并发高可扩展网站架构访问的几个层次：linux

有人会问，咱们总是说把用户对业务的访问往前推，到底怎么推啊？推到哪呢？下面，老男孩就为你们一一道来。nginx

第一层：首先在用户浏览器端，使用Apache的mod_deflate压缩传输，再好比：expires功能、deflate和expires功能利用的好，就会大大提高用户体验效果及减小网站带宽，减小后端服务器的压力。固然，方法还有不少，这里不一一细谈了。面试

提示：有关压缩传输及expires功能nginx/lighttpd等软件一样也有。sql

第二层：页面元素，如图片/js/css等或静态数据html，这个层面是网页缓存层,好比CDN（效果比公司本身部署squid/nginx要好，他们更专业，价格低廉，好比快网/CC等（价格80元/M/月甚至更低）并且覆盖的城市节点更多），本身架设squid/nginx cache来作小型CDN是次选(超大规模的公司可能会考虑风险问题实行自建加购买服务结合)，除非是为前端的CDN提供数据源服务，以减轻后端咱们的服务器数据及存储压力，而不是直接提供cache服务给最终用户。taobao的CDN曾经由于一部分图片的次寸大而致使CDN压力大的状况，甚至对图片尺寸大的来改小，以达到下降流量及带宽的做用。

提示：咱们也能够本身架设一层cache层，对咱们购买的CDN提供数据源服务，可用的软件有varnish/nginx/squid 等cache，以减轻第三层静态数据层的压力。在这层的前端咱们也能够架设DNS服务器，来达到跨机房业务拓展及智能解析的目的。

第三层：静态服务器层通常为图片服务器，视频服务器，静态HTML服务器。这一层是前面缓存层和后面动态服务器层的链接纽带，大公司发布新闻等内容直接由发布人员分发到各cache节点（sina,163等都是如此），这和通常公司的业务可能不同。因此，无法直接的参考模仿，好比人人的SNS。

咱们可使用Q队列方式实现异步的分发访问，同时把动态发布数据（数据库中的数据）静态化存储。即放到本层访问，或经过其余办法发布到各cache节点，而不是直接让全部用户去访问数据库，不知道你们发现了没有，qq.com门户的新闻评论多的有几十万条，若是全部用户一看新闻就加载全部评论，那数据库不挂才怪。他们的评论须要审核（美其名约，实际是异步的方式，并且，评论可能都是静态化的或相似的静态化或内存cache的方式），这点可能就是须要51cto.com这样站点学习的，大家打开51CTO的一篇博文，就会发现下面的评论一直都显示出来了，也多是分页的。不过，应该都是直接读库的，一旦访问量大，数据库压力大是必然。这里不是说51cto网站很差，全部的网站都是从相似的程序架构开始发展的。CU也多是如此。

提示：咱们能够在静态数据层的前端本身架设一层cache层，对咱们购买的CDN提供数据源服务，可用的软件有varnish/nginx/squid 等cache。在这层的前端咱们也能够架设DNS服务器，来达到跨机房业务拓展及智能解析的目的。

第四层：动态服务器层：php,java等，只有透过了前面3层后的访问请求才会到这个层，才可能会访问数据库及存储设备。通过前三层的访问过滤能到这层访问请求通常来讲已很是少了，通常都是新发布的内容和新发布内容第一次浏览如；博文（包括微博等），BBS帖子。

特别提示：此层能够在程序上多作文章，好比向下访问cache层，memcache,memcachedb,tc,mysql,oracle，在程序级别实现分布式访问，分布式读写分离，而程序级别分布式访问的每一个db cache节点，又能够是一组业务或者一组业务拆分开来的多台服务器的负载均衡。这样的架构会为后面的数据库和存储层大大的减小压力，那么这里呢，至关于指挥部的外层了。

第五层：数据库cache层，好比：memcache,memcachedb,tc等等。

根据不一样的业务需求，选择适合具体业务的数据库。对于memcache、memcachedb ttserver及相关nosql数据库，能够在第四层经过程序来实现对本层实现分布式访问，每一个分布式访问的节点均可能是一组负载均衡（数十台机器）。

第六层：数据库层，通常的不是超大站点都会用mysql主从结构，如：163,sina,kaixin都是如此，程序层作分布式数据库读写分离，一主（或双主）多从的方式，访问大了，能够作级连的主从及环状的多主多从，而后，实现多组负载均衡，供前端的分布式程序调用，若是访问量在大，就须要拆业务了，好比：我再给某企业作兼职时，发现相似的51cto的一个站点，把www服务,blog服务，bbs服务都放一个服务器上，而后作主从。这种状况，当业务访问量大了，能够简单的把www,blog,bbs服务分别各用一组服务器拆分开，这种方式运维都会的没啥难度。固然访问量在大了，能够继续针对某一个服务拆分如：www库拆分，每一个库作一组负载均衡，还能够对库里的表拆分。须要高可用能够经过drbd等工具作成高可用方式。对于写大的，能够作主主或多主的MYSQL REP方式，对于ORACLE来讲，来几组oracle DG（1master多salve方式）就够了，11G的DG能够象mysql rep同样，支持读写分离了。固然可选的方案还有，mysql cluster 和oracle 的RAC，玩mysql cluster和oracle RAC要须要更好更多的硬件及部署后的大量维护成本，所以，要综合考虑，到这里访问量还很大，那就恭喜了，起码是几千万以上甚至上亿的PV了。

象百度等巨型公司除了会采用常规的mysql及oracle数据库库外，会在性能要求更高的领域，大量的使用nosql数据库，而后前端在加DNS，负载均衡，分布式的读写分离，最后依然是拆业务，拆库，。。。逐步细化，而后每一个点又能够是一组或多组机器。

特别提示：数据库层的硬件好坏也会决定访问量的多少，尤为是要考虑磁盘IO的问题，大公司每每在性价比上作文章，好比核心业务采用硬件netapp/emc及san光纤架构，对于资源数据存储，如图片视频，会采用sas或固态ssd盘，若是数据超大，能够采起热点分取分存的方法：如：最常访问的10-20%使用ssd存储，中间的20-30%采用sas盘，最后的40-50%能够采用廉价的sata。

第七层：千万级PV的站若是设计的合理一些，1，2个NFS SERVER就足够了。我所维护（兼职）或经历过的上千万PV的用NFS及普通服务器作存储的还有大把，多一些磁盘，如SAS 15K*6的，或者用dell6850，搞几组 NFS存储，中小网站足够了。固然能够作成drbd+heartbeat+nfs+a/a的方式。

若是能达到本文设计要求的，中等规模网站，后端的数据库及存储压力会很是小了。象门户网站级别，如XX等，会采用硬件netapp/emc等等硬件存储设备或是san光纤同道，甚至在性价比上作文章，好比核心业务采用硬件netapp/emc及san光纤架构，对于资源数据存储，如图片视频，会采用sas或固态ssd盘，若是数据超到，能够采起热点分取分存的方法：如：最常访问的10-20%使用ssd存储，中间的20-30%采用sas盘，最后的40-50%能够采用廉价的sata。

象XX等巨型公司会采用hadoop等分布式的存储架构，前端在加上多层CACHE及多及的负载均衡，一样会根据业务进行拆分，好比爬虫层存储，索引层存储，服务层存储。。。能够更细更细。。。为了应付压力，什么手段都用上了。

特殊业务，如某些SNS门户站，包括门户网站的评论，微博，大多都是异步的写入方式，即不管读写，并发访问数据库都是很是少许的。

以上1-7层，若是都搭好了，这样漏网到第四层动态服务器层的访问，就很少了。通常的中等站点，绝对不会对数据库形成太大的压力。程序层的分布式访问是从千万及PV向亿级PV的发展，固然特殊的业务还须要特殊架构，来合理利用数据库和存储。

老男孩讲师介绍

老男孩，资深unix/Linux系统运维网站架构专家、高级运维总监。从事一线网站运维及系统架构管理10年以上，13年的教育教学培训经历(擅长教育心理，职业规划，性格分析、谈判，职场，就业)。并将自身的网站运维架构及教育领域的经验成功结合应用到IT教育领域教学工做中。曾先后就任于若干个大规模高并发访问量的行业门户网站，并为多家互联网公司作过技术顾问，企业技术培训。提供各种网站系统架构解决方案。

老男孩linux实战培训中心是老男孩于2007年开办的国内首个linux运维实战培训私塾式精英教育培训机构。截止到2012年，累计受益学生达到千余人（其中培训VIP面授学生数百人，网络班学生数百人）。全科毕业学平生均就业工资7000以上，其中部分学生就任于淘宝、阿里巴巴、百度、腾讯、和讯、开心网、人人、激动网、小米科技、土豆、酷6、sohu、sina、金山、尚德，欢聚网、蓝港，chinacache,快网、帝联，遨游、赶集、拉手网，窝窝团、就业工场、联通、电信、乐视、乐淘、启明星辰，寻医问药，高德，360等公司。