分布式计算入门知识

分布式计算基础课程：分布式计算入门

（课程针对大数据分步式计算中的相关技术进行讲解，核心讲解流式计算和内存计算技术，阐述阿里云在处理这些功能时所使用的技术，并对阿里在这里的技术优化方式进行了详细的讲解。）

分布式计算是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用须要很是巨大的计算能力才能完成，若是采用集中式计算，须要耗费至关长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样能够节约总体计算时间，大大提升计算效率。

分布式计算定义 

分布式计算是一门计算机科学，主要研究对象是分布式系统。

分布式系统是由若干经过网络互联的计算机组成的软硬件系统[1]，且这些计算机互相配合以完成一个共同的目标（每每这个共同的目标称为“项目”）；
分布式计算指在分布式系统上执行的计算。分布式计算是将一个大型计算任务分红不少部分分别交给其余的计算机处理，并将全部的计算结果合并为原问题的解决方案。
注意： 这里与并行计算不一样的是，并行计算是使用多个处理器并行执行单个计算。并行运算与分布式计算的区别是：分布式计算强调的是任务的分布执行，而并行计算强调的是任务的并发执行 

优缺点

• 优势：超大规模 ，虚拟化，高可靠性 ，通用性 ，高可伸缩性，按需服务，极其廉价，容错性
• 弱点：多点故障（一台或多台计算机的故障，或一条或多条网络链路的故障，都会致使分布式系统出现问题）；安全性（分布式系统为非受权用户的攻击提供了更多机会）

意义格局

• 分布式计算与人类

因为现代人类各个课题学科繁多，涉及面广，而分类又细。而当今的每一个学科彷佛都须要进行大量的计算。天文学研究组织须要计算机来分析太空脉冲（pulse），星位移动；生物学家须要计算机来模拟蛋白质的折叠（protein folding）过程；药物学家想要研制克服艾滋病（AIDS）或非典（SARS）的药物；数学家想计算最大的质数和圆周率的更精确值；经济学家要用计算机分析计算在几万种因素考虑下某个企业/城市/国家的发展方向从而宏观调控。因而可知，人类将来的科学，时时刻刻离不开计算。而分布式计算（Distributed Computing），以其独特的优势——便宜、高效而愈来愈受到社会的关注。

• 分布式计算格局

就目前来看，全球的各类分布式计算已有约百种，这些计算大多互无联系、独立管理、独立使用本身的一套软件。这种分布式计算互相割据的格局很不利于发展的须要。好比，某个生物学研究机构须要利用世界各地志愿者的计算机来模拟蛋白质折叠的过程，那个生物学研究机构没有分布式计算方面的专业人才，而可是社会上也并无任何公司能够提供这样的服务，他们就不得不本身花费大量精力用于开发分布式计算的服务器、客户端。这样一来，原来能够用于研究生物的时间用在了别的地方。刚才提到的生物学研究机构就是美国斯坦福大学的PANDE小组。

• BOINC一统大局

为了改变这种杂乱无章的割据，美国加州大学伯克利分校（UC Berkeley）首先提出了创建BOINC的想法。BOINC的中文全称是伯克利开放式网络计算平台（Berkeley Open Infrastructure for Network Computing），他可以把许多不一样的分布式计算项目联系起来统一管理。并对计算机资源进行统一分配（比方您对研究艾滋病药物和探索地外文明同时感兴趣，您就能够同时选择两个运行，并设置优先级）。对统计评分系统进行统一管理（不管你在为哪一个项目工做，只要你奉献CPU时间长，就积分高）。有了这样的统一管理，的确给PANDE小组这样的科学研究机构提供了便利！
BOINC已经成熟，多个项目已经成功运行于BOINC平台之上，如SETI@home，LHC@home等。

安全性

对用户方来讲，加入任何一个项目以前，您必须确保您能够信任项目的研制方，主要涉及两方面：

• 计算机上的隐私数据

您从项目方下载的计算程序，运行在本机，并且能够访问网络，所以，只有可靠的项目方才能保证您计算机上的隐私数据不会恶意的取走、修改等。

• 我的计算机的寿命

虽然分布式计算的计算程序通常运行在最低优先级，不会对您的平常使用形成影响，但计算程序全负荷运行时仍会对计算机的各个部件形成必定压力，要了解更多请查看分布式计算对计算机软硬件的影响。

对项目方来讲，参加分布式计算的志愿者毕竟不是项目方本身的人员，并非全体可信任，所以必须引入必定的冗余计算机制，才能防止计算错误、恶意做弊等。

课时介绍

• 流式计算概述
• 流计算与批量计算的区别
• 流式计算典型系统技术分析
• 阿里计算核心技术概述
• 有状态计算实现方式
• StreamSQL
• 大数据和数据库的结合
• 分析型数据库服务ADS
• 统一计算框架

课程目标

• 学习分步式计算相关技术

适合人群

• 大数据开发者、爱好者

更多精品课程：

阿里云大学官网（阿里云大学 - 官方网站，云生态下的创新人才工场）