多位大数据专家联袂推荐：分布式实时处理系统—原理、架构与实现

前言

由计算机组成的网络无处不在，现现在咱们的平常生活已经被各类不一样类型的网络包围，如电话网络、企业网络、家庭网络以及各类类型的局域网，共同构成了咱们称之为Internet的网络。所以，咱们能够断言Internet是由各类不一样类型、不一样地区、不一样领域的网络构成的互联网。咱们能够发现，互联网并无集中式的控制中心，而是由大量分离且互联的节点组成的。这正是一个分散式的模型。咱们能够把这个概念类比到即将讲解的分布式概念上。

分布式概念是在网络这个大前提下诞生的。传统的计算是集中式的计算,使用计算能力强大的服务器处理大量的计算任务，但这种超级计算机的建造和维护成本极高，且明显存在很大的瓶颈。与之相对，若是一套系统能够将须要海量计算能力才能处理的问题拆分红许多小块，而后将这些小块分配给同一套系统中不一样的计算节点进行处理，最后若有必要将分开计算的结果合并获得最终结果，那么就将这种系统称为分布式系统。对于这种系统来讲，咱们会采用多种方式在不一样节点之间进行数据通讯和协调，而网络消息则是经常使用手段之一。

经过以上描述，咱们基本能够认为，一套分布式系统会使用网络上的硬件资源和软件组件进行计算，而各个计算节点间经过必定方式进行通讯。这是从计算机科学的角度简单概述了分布式系统的概念。

若是咱们从网络这个关键因素考虑，咱们能够将计算分摊到网络中不一样的计算节点，充分利用网络中的计算资源，而这些节点可能存在于不一样的区域中，在空间上存在必定距离。虽然说这种解释不那么正式，但也从另外一个角度上生动地阐述了分布式的基本特性，即节点分布。

正文

本书以最基本的云计算与大数据概念做为引子,逐步引入高性能分布式实时处理系统编程所须要的知识，抽丝剥茧地把有关实时处理系统的架构以及内部实现娓娓道来。

第1章介绍分布式系统的一些基本概念,以及开发实时处理系统所须要具有的一些重要知识点。

第2章介绍分布式系统通讯基础，包括TCP/IP以及Socket方面的基本概念，为后续开发网络库Meshy作知识储备。

第3章介绍分布式系统通讯所需的高层抽象,包括RPC远程过程调用、RESTful.消息队列等经常使用的通讯模型。同时介绍基本的序列化概念与解决方案,并使用Thrit开发简单的公告牌服务,为Hurricane的开发创建通讯抽象与框架上的基础概念。

第4章介绍C++高性能编程所需的基础与进阶知识，包括C+ +中的内存资源管理、编码解决方案、并发与异步处理以及内存管理技巧，以及C++11中与内存管理、编码处理、线程模型相关的内容。

第5章介绍分布式处理系统的基本概念,包括批处理与实时处理的区别，Hadoop与Storm的基本介绍及基本模型。最后介绍可靠消息处理的基本思想。

第6章介绍实时处理系统的整体架构与接口设计,包括消息源、消息处理器、数据收集器、元组以及序列化接口。

第7章介绍服务组件的设计与实现，包括Executor及其消息队列、动态装载以及Task的设计与实现等。

第8章介绍管理服务的设计与实现,其中包括集群管理器President以及节点管理器Manager的架构设计与编程实现。

第9章介绍实时处理系统中各部分接口的实现,包括消息源、消息处理单元以及数据收集器的实现。

因为平台篇幅限制，同时也为了你们更好的阅读，小编把分布式相关的资料都整理好了，有感兴趣的朋友可帮忙转发文章后，关注私信 回复【学习】来获取