云端数据处理，让服务更轻—庞向才（1213开发者实践日）

【庞向才】：今天介绍七牛继续作云端这样数据的一些事情。    

第一个简单聊聊计算自己的一些事情，过去从PC开始用起的时候，那时候单机系统比较多一点。像2000年左右的时候，对于咱们作外部的应用、作单机的一些应用，基本上那时候数据也比较low一点，没有接触太高大上的系统。那时候全部的东西都设在单机上面，而后包括数据库，那时候尚未Git。好久之前没毕业的时候，在北京一家公司作兼职，作系统运维相关的工做时，系统比较乱，一台机器只有几十G的硬盘，都堆在上面。再往下面到了hadoop阶段，这时候分布式的文件系统，除了本身没有开源之外，会有各类实现。

对于hadoop来说话，它数据自己是公布的，它的框架里面是说我计算的代码能够用各类语言实现。你能够调动各类不一样的任务，而后来执行。总的来说就是让计算离数据更近一点，整体来说这个东西要越近越好。而后如今比较火的就是spark了，由于咱们的量实际太大了，一天XXX亿的请求，分到内部的子系统里面去，又差一个数量级的产生。咱们为了监控系统的稳定性以及性能的达标，日志基本上要作准时的分析。可是完成的时侯是很难的，好比说要特殊监控的地方，要否则这些东西都会导入到分布式的系统里面去，再作准时的分析。如今七牛在云端基本上都存HTTP系统协议，七牛也好，包括其余友商，基本上没有例外的。

数据放到云端之后，就会带来一个问题，你好比说拍了一个裸图，800像素的就是两、三兆的大小。相机能够表中图、大图、小图，原始图片放上去之后，基本上在国内的3G状况下你无法看。最后的需求仍是说能不能把图放得小一点，手机屏幕够看就能够，刚恰好符合手机屏幕的一个尺寸。最后就是说你有这种需求，可是数据离你很远，你又想看，免不了作一些数据的处理。咱们经过HTTP的方式，给它发个指令，让它处理完之后的结果，经过XX协议返回。

计算整体来说，右边的图画得比较草，就是三个框。计算机体系从20年前到如今都没有实质性的改变。从CPU到各类全部的加速卡，我要不想办法，摩尔定律那样频率翻一番，快到必定的程度就没有办法了。后面就是说怎么少概念？不少人要去重复的，可能不一样的纬度、时间访问同一个处理过的数据。后来就上cache，从CPU1、2、3级的cache，而后到你如今Web服务作得比较多的，我先简单的单机系统，这样的话我数据库抗不住了，我就上radis之类的。对于云端在作这些事情的时候，框架搭得更大一点，各家有各家的作法。好比说有些东西从一些慢盘取完之后，所谓的分级存储。我只是说数据访问了一次，第一次可能在很慢的三个盘上面，有第一我的访问之后，这个数据就激活了，而后就会转移到SASP上面去。而后小文件都会控制在一百纳秒的样子，而后就能够从盘上读出，剩下都是网络。如今网络很快的，每秒钟处理包能够处理几十万、百万，应该是没有问题的。包括数据存储过程的开启，这些东西主要都是为了加速用的，让你的感受更好一点，变得更快一点。可能大家的应用里面也会用到，好比说我一台机器的计算资源是有限的，我内存多是32G，服务端如今高一点，几百是确定的。固然如今移动端的手机都是flash的芯片，仅仅是读取之类的仍是很快的。可是一旦涉及到计算结果，放内存仍是好一点。

如今来说这不是高大上的内容，这都是一些比较现实的东西。实时性的一些处理，由于可能前两天陌陌上市了，你们都知道陌陌的数据不少都在咱们这里，他们为了缩减流量，就是说数据流。一张图片可能要XXK，小的也是几K的样子。

国内带宽很贵的，用户在家里收了钱之后，运营商还要收钱的。你上陌陌，同时不少人聊天，你手机流量会耗得很快的。另一端从运营商机房里头，全国是数千个节点。他们会以峰值给你打个XX折，可是你峰值很不稳定。这种状况第一就是说避免波动，第二就是说让传输的数据变少。原始的图片放上去，最后你要加速他的访问。你刷个图片，刷5秒钟刷不出来，可能最初怀疑本身网络慢，你换了个应用刷一下，无论哪家应用来讲，刷图片过久刷不出来，又证实网络是好的，你开始骂这个应用太差了。好比说移动网络用3G，3秒、5秒你图片能刷出来，由于国内的网络覆盖不大一致，延迟、波动都是难以免的。

我以为国内的应用比较容易作，由于你们容忍度比较高一点。由于上下班中间要排队，吃饭要排队，排多了可能都适应了。可是实际上你实时性真的很好的时候，你以为好爽好流畅。机器好坏明显有区别的。实时性的响应，当前就是保证起来，就像那头僵尸同样，你每个问题可能都是一大波僵尸，须要付出代价的。当前好比说像美拍的应用，还有一些其余的游戏分享，就是游戏我在手机上录完之后，后台传输，过个10秒钟你就能够分享了。分享完了，伙伴们就能够看你录下来的很帅的记录。这种实时性要求高，从后端数百千米，数千千米的机房，经过各类路由器，最终到你小区的局域网，这条路是很长的，环境比较难控制。到真正的服务端，它必须数据要快，这就是雪上加霜。而后高吞吐，若是你们作服务端的话，你作APP有几千、几万用户的时候，可能和数据库有需求的时候，或者说和图片有需求的时候，你一秒钟一台服务器支个几百个KPS了不得了。这种状况下，怎么保证性能的响应依然是良好的？量大，自己就是说小图片太碎了。单机的系统来说，早年用过windows的人可能比较明显，如今不少都有固态盘要好不少。之前没有固态盘的时候，无论你台式机仍是笔记本，里面的碎片多一点的时候，你搜索、查询一个文件会愈来愈慢。这个东西的复杂度和量是直接关系的。我之前作相对底层的文件系统，就是说你从陌陌结构，你的整个文件系统就像数据库同样。你的文件名、你的路径，都是存放在某一块区域，你的数据是被安排到另一块区域，找的时候就像一颗树同样，用树来找的已经比较快了。而后一层一层地找，你访问一次之后，你下一次访问就会变快。由于你的目录树都已经开启在里面了，这东西很重要。若是当前作服务端的话，用linux比较多，它的各类内存的配比都是干什么呢？可能你90%的内存都被page  Cache耗掉了。其实不是系统能够，也不是磁盘能够，是他们的数据组织还能够。右边针对这些上面的全部的需求来说，复杂度都很高，你们知道创意、技术团队其实人员是有限的。数据量多了之后，你须要找一个专门靠谱的地方帮你打理。

咱们看下一页，若是有这些需求，特别是说你需求无论多复杂，你量少的时候都不是问题，量一变大都是问题。在国内作实时性的业务，有一大堆的坑。

咱们服务端为了让这些坑里面跳得快一点，你服务端基本上必定要快的。你最终数据出去的地方必定要快。那就是说基本上最好的CPU，都放过来作计算，能减小一毫秒就是一毫秒。由于不一样的CPU的主屏，都会影响处处理这些事。高效果Cache，在你数据计算正常的状况下，把它塞到Cache里面去，下一次不用再算了。可能说你们从手机上访问到的全部的，可能你永远不是第一个刷到这些内容的人，你基本上都会很快的。而后在原来的地方，你要有大容量的出口。若是你用过虚拟主机或者如今就买云主机的话，云主机就是VPS。都会有带宽的一个限制，是共享的仍是独占的？独占可能比你主机还要贵。用户一旦多了之后，就会拥挤。你的APK一下就是几十兆，你瞬间其余用户就会有影响了。某服务商实际上都有限速，我尽量把数据快地推到用户手里，你不会作限制的。无论用哪家服务，出口带宽如今都是按10GB去算的。一根光纤10GB，扯上10根、8根的。这样子保证出口必定是靠谱、稳定的，而后延迟是4GB的。

下面就是说只有一个点快是不行的，由于大中华的局域网很是复杂，电信连不通联通的。北方联通到南方联通，天天每一个时候还会堵一下。这些可能还不可控，最终只能说从更大层次的方案上面去规避。比方说北方的客户用北方机房，南方的客户用南方的机房。不是黑他们，确实不好，有些小运营商到你的节点路由都不通，这些须要专门的人干。像国内的几家CDN服务商，不少都是布点公司，在各个机房和运营商那边都摆上他们的服务器，保证你的服务可连通性。他们的节点到你网站的快慢速度，到你当前用户所在的位置，无论你用电信仍是联通的3G、4G，你第一跳跳到那个节点，直接决定了你这一把网络的快慢。这些东西都比较重要，也有一些自建的节点，可是在管理上主要靠CBD保证这些事情。处理这一块上面说靠本身来保证，或者说放云端，靠云端来保证。

顺便说一下咱们如今纯作数据处理的服务器，线上在跑的就有几台，有些客户的量太大了。简单、高效的方式就是扩容，都说互联网公司都是不差钱嘛。剩下的就是说简单讲一下坑吧，就是说什么叫实时的处理呢？你在服务端秒之内能处理完，这算实时的请求。若是你在服务端一秒钟能处理完，我以为这基本上不算实时了。若是有界面的一些应用，没有界面的还好，可能说是一些任务了。若是影响体验的话，我以为服务端处理绝对不该该超过一秒，超过一秒绝对是故障了。无论用哪一家的语言，用数据处理也好，用什么服务也好，若是超过了一秒，用户体验受影响了，这基本上是必然的，由于路很长。若是数据都很小，而后你的数据自己的包括你可能有些实时的计算，好比说打个缩略图，第一次访问的时候，这种状况下你用实时的处理都是没问题的。这样的话同步，你就坐等结果回来，这样的逻辑简单不少，就是这样等就好了，这是最简单的。可是有些东西一旦是说你访问过之后，这样子你又掉到下面一个坑里面去了。主要是说CBD的缓存，常常有更新的状况下，你对同一个文件更新，你发现更新完以后，你的用户依然没有刷出新的。你清完Cache，发现刷出来仍是老的。这样的话，CBD他的运营商的节点很是多，自己是互联网数据通道了。这种状况下，可能一个小文件，要不就是你是他的客户，去找他实时的刷新，可是它仍是有故障。他放上去的Key是同样的，咱们默认第一天重复，次日从新拉一遍。搞了好几天，看一下仍是很早之前的。它确实是某CDN，由于某些缘由没有更新掉。你要作活动，你把主页都换掉了，结果你刷了几天仍是原来的图，这样人家会很伤心的。好比说你更新你全部的展现资源，你就索性用不一样的名字，这是最简单的。由于CDN的缓存通常都是靠URL，以及有定制的话，就是URL的某一段来缓存的，来识别你的内容是否是有变动。或者有没有新内容须要缓存。这种状况下，你干脆把它淘汰掉，换数据的时候顺便换名字。名字你随便起一个，由于图片的URL用户历来不会看。这种状况下，你对你的实时性，包括你的整个内容的更新是放在本身手里的。用户刷你的源站，你的用户服务器变掉了之后，就不存在刷新的问题。这多是咱们全部的客户，包括全部的合做伙伴平时遇到的小烦恼，经过人工流或者特殊的途径，去把你网站上的垃圾清掉是能够的，只是过程比较久一点。主要就是说缓存这个坑，只要帮你加了速，你的应用就在这个区，可能有某CDN的服务器就在上海某个机房。一旦时间长了以后，就是说你更新的东西，他没有更新，这样也很坑。就是说也算是一种平衡吧。

而后这个题目起得比较矬一点，没有细想。比方说你拍完了一段手机的录屏，好比说今天这个活动下来，咱们视频可能之后也会放在网站上分享。这种状况下，它消耗是比较高的，以致于你用最好的CPU，也不可能把它在一秒钟内处理完。这种状况下，就可能要引入一套异步的机制。当前为了兼容性也好，门槛也好，一些传统的很老的一些协议，可能在互联网时代都被抛弃了。好久之前家里面都有机顶盒之类的，就是说有线电视的，他们走的一些协议都是很是复杂的。

包括数据流的协议，都是很是复杂。如今手机打电话，这套通信协议，学计算机的都知道是相对复杂的协议，这是保证可靠性的代价。电话费降不下来，运营商告诉你是由于什么什么，这是一方面。最后你可能异步化掉，你没办法作的，你发出请求，他告诉你收到请求了。最后结果要继续查或者等通知，你去XX机关，告诉你XX工做日之后来取。最近咱们公司说去旅行，而后就有不少小伙伴连护照都没有，由于刚毕业，也没有出去过。办护照，你就提交材料，告诉你15工做日就15工做日。早一天过去查，他们说尚未，看日期，明明还没到你就来了。要么就是坐等，要么就是没事去查一下。这样会带来应用层面的一些复杂性。这种东西要提早预料好的，你为了本身的可控性以及体验，就要这样作。前天晚上咱们有一家厦门的客户，是哪家不能说，凌晨一点50分左右，我在公司处理其余公事，他们说他们的服务器挂了，从他们的老板打到他们的CTO没有一个接通的。最终从角落里找到他们的销售，那哥们的电话终于接通了。无论哪家云服务，涉及到回调任务的，要仔细检查每一个流程是否是稳定和可靠。由于对某些用户来讲，多是丢数据，这个问题比较严重。咱们正常来说一次回调不成功，再重试，好比说一个小时回调不成功，就再也不重试了。

剩下的都再也不细讲了，反正就是注意回调里面的坑。这个是处理完之后，你要从新再拿，以备后期本身拿。把Cache另存一个文件，而后方便本身去处理。这边还有一些所谓的多样化的应用，咱们客户接多了。有些不能算奇葩类的公司，好比说有些公司JPG的图片压缩过了500M。可能一张图片须要几十G的内存，可能它一个图片要切成5百万份之类的事情。可是有点夸张了，切成几千份是有的。数据的多样性和应有性，每家云公司都会提供一套基础的支持，让大众接近的应用，可是有些很难接。

这边有一些云平台做为一个框架，做为你有储存接口、计算接口，咱们但愿真的是有用户有本身的开发能力，有特殊的需求，能够定义本身的数据处理逻辑。

可是用户说去咱们机房买一个处理器是能够的。可是结果你要运维、机器所有覆盖，这个流程作起来很累。而后咱们容许用户把自定义程序打包完，放在这个框架里跑。流程同样，接口同样，只是说command换一换。用户的应用处理完之后，进入到指定的框架，让用户以插电的方式体验本身的逻辑。

东西仍是这些东西，只是说但愿你们若是有需求，能够用服务来实现的，就不要本身来搞，这个事太累了。咱们累一次就能够了，包括其余的云公司同样的。信息处理就是数据加计算，如今主要是消费型的数据比较多一点，互联网客户这边。传统客户可能有归档类的，为了安全用来备份类的都有。但互联网类的主要是用来消费的比较多，给客户直接提供一些服务。这样你们选储存或者选服务商的时候要关注一些东西，为了后期的一些发展。好比说会不会由于接口太复杂，接进去就出不来了，仍是基础的服务不能知足要求，或者说给你制定一个计算的能力。

PS：开发者最佳实践日·第8期－互联网产品从设计到上线 北京站

报名地址：http://qiniu-8.eventdove.com