P2P对等网络技术原理整合

P2P（Peer to Peer）对等网络

P2P技术属于覆盖层网络(Overlay Network)的范畴，是相对于客户机/服务器(C/S)模式来讲的一种网络信息交换方式。在C/S模式中，数据的分发采用专门的服务器，多个客户端都今后服务器获取数据。

优势是：数据的一致性容易控制，系统也容易管理。

缺点是：由于服务器的个数只有一个(即使有多个也很是有限)，系统容易出现单一失效点；单一服务器面对众多的客户端，因为CPU能力、内存大小、网络带宽的限制，可同时服务的客户端很是有限，可扩展性差。

P2P技术正是为了解决这些问题而提出来的一种对等网络结构。在P2P网络中，每一个节点既能够从其余节点获得服务，也能够向其余节点提供服务。这样，庞大的终端资源被利用起来，一举解决了C/S模式中的两个弊端。

P2P应用软件主要包括文件分发软件、语音服务软件、流媒体软件。目前P2P应用种类多、形式多样，没有统一的网络协议标准，其体系结构和组织形式也在不断发展。

对等网络的基本结构

（1）集中式对等网络（Napster、QQ）

集中式对等网络基于中央目录服务器，为网络中各节目提供目录查询服务，传输内容无需再通过中央服务器。这种网络，结构比较简单，中央服务器的负担大大下降。但因为仍存在中央节点，容易造成传输瓶颈，扩展性也比较差，不适合大型网络。但因为目录集中管理，对于小型网络的管理和控制上却是一种可选择方案。

（2）无结构分布式网络（Gnutella）

无结构分布式网络与集中式的最显著区别在于，它没有中央服务器，全部结点经过与相邻节点间的通讯，接入整个网络。在无结构的网络中，节点采用一种查询包的机制来搜索须要的资源。具体的方式为，某节点将包含查询内容的查询包发送到与之相邻的节点，该查询包以扩散的方式在网络中蔓延，因为这样的方式若是不加节制，会形成消息泛滥，所以通常会设置一个适当的生存时间（TTL），在查询的过程当中递减，当TTL值为0时，将再也不继续发送。

   这种无结构的方式，组织方式比较松散，节点的加入与离开比较自由，当查询热门内容时，很容易就能找到，但若是需求的内容比较冷门，较小的TTL不容易找到，而较大的TTL值又容易引发较大的查询流量，尤为当网络范围扩展到必定规模时，即便限制的TTL值较小，仍然会引发流量的剧增。但当网络中存在一些拥有丰富资源的所谓的类服务器节点时，可显著提升查询的效率。

（3）结构化分布式网络（第三代P2P Pastry、Tapestry、Chord、CAN）

    结构化分布式网络，是近几年基于分布式哈希表（Distributed Hash Table）技术的研究成果。它的基本思想是将网络中全部的资源整理成一张巨大的表，表内包含资源的关键字和所存放结点的地址，而后将这张表分割后分别存储到网络中的每一结点中去。当用户在网络中搜索相应的资源时，它将能发现存储与关键词对应的哈希表内容所存放的结点，在该结点中存储了包含所需资源的结点地址，而后发起搜索的结点根据这些地址信息，与对应结点链接并传输资源。这是一种技术上比较先进的对等网络，它具备高度结构化，高可扩展性，结点的加入与离开比较自由。这种方式适合比较大型的网络。

对等网络经典结构

  (1)DHT结构

    分布式哈希表(DHT)[1]是一种功能强大的工具，它的提出引发了学术界一股研究DHT的热潮。虽然DHT具备各类各样的实现方式，可是具备共同的特征，即都是一个环行拓扑结构，在这个结构里每一个节点具备一个惟一的节点标识(ID)，节点ID是一个128位的哈希值。每一个节点都在路由表里保存了其余前驱、后继节点的ID。如图1(a)所示。经过这些路由信息，能够方便地找到其余节点。这种结构多用于文件共享和做为底层结构用于流媒体传输[2]。

    (2)树形结构

    P2P网络树形结构如图1(b)所示。在这种结构中，全部的节点都被组织在一棵树中，树根只有子节点，树叶只有父节点，其余节点既有子节点也有父节点。信息的流向沿着树枝流动。最初的树形结构多用于P2P流媒体直播[3-4]。

    (3)网状结构

    网状结构如图1(c)所示，又叫无结构。顾名思义，这种结构中，全部的节点无规则地连在一块儿，没有稳定的关系，没有父子关系。网状结构[5]为P2P提供了最大的容忍性、动态适应性，在流媒体直播和点播应用中取得了极大的成功。当网络变得很大时，经常会引入超级节点的概念，超级节点能够和任何一种以上结构结合起来组成新的结构，如KaZaA[6]。

P2P技术应用

(1)分布式科学计算
P2P技术可使得众多终端的CPU资源联合起来，服务于一个共同的计算。这种计算通常是计算量巨大、数据极多、耗时很长的科学计算。在每次计算过程当中，任务(包括逻辑与数据等)被划分红多个片，被分配到参与科学计算的P2P节点机器上。在不影响原有计算机使用的前提下，人们利用分散的CPU资源完成计算任务，并将结果返回给一个或多个服务器，将众多结果进行整合，以获得最终结果。
(2)文件共享
BitTorrent是一种无结构的网络协议。除了BitTorrent以外，还有很多著名的无结构化的P2P文件共享协议，典型的有Gnutella[8]和KaZaA[6]。
(3)流媒体直播
(4)流媒体点播
(5)IP层语音通讯
Skype采起相似KaZaA的拓扑结构，在网络中选取一些超级节点。在通讯双方直连效果很差时，一些合适的超级节点则担当起其中转节点的角色，为通讯双方建立中转链接，并转发相应的语音通讯包。

典型P2P应用的机制分析
      分析典型的P2P应用机制能够深刻了解P2P的原理。本节将对文件分发、流媒体应用、语音服务3个领域中具备表明性的软件机制进行详细的分析。对于这些软件的分析有助于理解P2P技术的原理和把握P2P技术将来发展的趋势。

BitTorrent
      BitTorrent软件用户首先从Web服务器上得到下载文件的种子文件，种子文件中包含下载文件名及数据部分的哈希值，还包含一个或者多个的索引(Tracker)服务器地址。它的工做过程以下：客户端向索引服务器发一个超文本传输协议(HTTP)的GET请求，并把它本身的私有信息和下载文件的哈希值放在GET的参数中；索引服务器根据请求的哈希值查找内部的数据字典，随机地返回正在下载该文件的一组节点，客户端链接这些节点，下载须要的文件片断。所以能够将索引服务器的文件下载过程简单地分红两个部分：与索引服务器通讯的HTTP，与其余客户端通讯并传输数据的协议，咱们称为BitTorrent对等协议。BitTorrent软件的工做原理如图4所示。BitTorrent协议也处在不断变化中，能够经过数据报协议(UDP)和DHT的方法得到可用的传输节点信息，而不是仅仅经过原有的HTTP，这种方法使得BitTorrent应用更加灵活，提升BitTorrent用户的下载体验。

eMule
      eMule软件基于eDonkey协议改进后的协议，同时兼容eDonkey协议。每一个eMule客户端都预先设置好了一个服务器列表和一个本地共享文件列表，客户端经过TCP链接到eMule服务器进行登陆，获得想要的文件的信息以及可用的客户端的信息。一个客户端能够从多个其余的EMule客户端下载同一个文件，并从不一样的客户端取得不一样的数据片断。eMule同时扩展了eDonkey的能力，容许客户端之间互相交换关于服务器、其余客户端和文件的信息。eMule服务器不保存任何文件，它只是文件位置信息的中心索引。eMule客户端一启动就会自动使用传输控制协议(TCP)链接到eMule服务器上。服务器给客户端提供一个客户端标识(ID)，它仅在客户端服务器链接的生命周期内有效。链接创建后，客户端把其共享的文件列表发送给服务器。服务器将这个列表保存在内部数据库内。eMule客户端也会发送请求下载列表。链接创建之后，eMule服务器给客户端返回一个列表，包括哪些客户端能够提供请求文件的下载。而后，客户端再和它们主动创建链接下载文件。图5所示为eMule的工做原理。

      eMule基本原理与BitTorrent相似，客户端经过索引服务器得到文件下载信息。eMule同时容许客户端之间传递服务器信息，BitTorrent只能经过索引服务器或者DHT得到。eMule共享的是整个文件目录，而BitTorrent只共享下载任务，这使得BitTorrent更适合分发热门文件，eMule倾向于通常热门文件的下载。

迅雷
      迅雷是一款新型的基于多资源多线程技术的下载软件，迅雷拥有比目前用户经常使用的下载软件快7～10倍的下载速度。迅雷的技术主要分红两个部分，一部分是对现有Internet下载资源的搜索和整合，将现有Internet上的下载资源进行校验，将相同校验值的统一资源定位(URL)信息进行聚合。当用户点击某个下载链接时，迅雷服务器按照必定的策略返回该URL信息所在聚合的子集，并将该用户的信息返回给迅雷服务器。另外一部分是迅雷客户端经过多资源多线程下载所须要的文件，提升下载速率。迅雷高速稳定下载的根本缘由在于同时整合多个稳定服务器的资源实现多资源多线程的数据传输。多资源多线程技术使得迅雷在不下降用户体验的前提下，对服务器资源进行均衡，有效下降了服务器负载。

      每一个用户在网上下载的文件都会在迅雷的服务器中进行数据记录，若有其余用户再下载一样的文件，迅雷的服务器会在它的数据库中搜索曾经下载过这些文件的用户，服务器再链接这些用户，经过用户已下载文件中的记录进行判断，如用户下载文件中仍存在此文件(文件如更名或改变保存位置则无效)，用户将在不知不觉中扮演下载中间服务角色，上传文件。

PPLive
      PPLive软件的工做机制和BitTorrent十分相似，PPLive将视频文件分红大小相等的片断，第三方提供播放的视频源，用户启矾PPLive之后，从PPLive服务器得到频道的列表，用户点击感兴趣的频道，而后从其余节点得到数据文件，使用流媒体实时传输协议(RTP)和实时传输控制协议(RTCP)进行数据的传输和控制。将数据下载到本地主机后，开放本地端口做为视频服务器，PPLive的客户端播放器链接此端口，任何同一个局域网内的用户均可以经过链接这个地址收看到点播的节目。图6所示为PPLive的工做原理示意图。

Skype
      Skype是网络语音沟通工具。它能够提供免费高清晰的语音对话，也能够用来拨打国内国际长途，还具有即时通信所需的其余功能，好比文件传输、文字聊天等。Skype是在KaZaA的基础上开发的，就像KaZaA同样，Skype自己也是基于覆盖层的P2P网络，在它里面有两种类型的节点：普通节点和超级节点。普通节点是能传输语音和消息的一个功能实体；超级节点则相似于普通节点的网络网关，全部的普通节点必须与超级节点链接，并向Skype的登录服务器注册它本身来加入Skype网络。Skype的登录服务器上存有用户名和密码，而且受权特定的用户加入Skype网络，图7所示为Skype的体系结构^[18]。

      Skype的另外一个突出特色就是可以穿越地址转换设备和防火墙。Skype可以在最小传输带宽32 kb/s的网络上提供高质量的语音。Skype是使用P2P语音服务的表明。因为其具备超清晰语音质量、极强的穿透防火墙能力、免费多方通话以及高保密性等优势，成为互联网上使用最多的P2P应用之一。

P2P实现的原理

首先先介绍一些基本概念：

    NAT(Network Address Translators)，网络地址转换：网络地址转换是在IP地址日益缺少的状况下产生的，它的主要目的就是为了可以地址重用。NAT从历史发展上分为两大类，基本的NAT和NAPT(Network Address/Port Translator)。

    最早提出的是基本的NAT(peakflys注：刚开始其实只是路由器上的一个功能模块)，它的产生基于以下事实：一个私有网络（域）中的节点中只有不多的节点须要与外网链接（这是在上世纪90年代中期提出的）。那么这个子网中其实只有少数的节点须要全球惟一的IP地址，其余的节点的IP地址应该是能够重用的。

所以，基本的NAT实现的功能很简单，在子网内使用一个保留的IP子网段，这些IP对外是不可见的。子网内只有少数一些IP地址能够对应到真正全球惟一的IP地址。若是这些节点须要访问外部网络，那么基本NAT就负责将这个节点的子网内IP转化为一个全球惟一的IP而后发送出去。(基本的NAT会改变IP包中的原IP地址，可是不会改变IP包中的端口)

关于基本的NAT能够参看RFC 1631

另一种NAT叫作NAPT，从名称上咱们也能够看得出，NAPT不但会改变通过这个NAT设备的IP数据报的IP地址，还会改变IP数据报的TCP/UDP端口。基本NAT的设备可能咱们见的很少（基本已经淘汰了），NAPT才是咱们真正须要关注的。看下图：

有一个私有网络10.*.*.*，Client A是其中的一台计算机，这个网络的网关（一个NAT设备）的外网IP是155.99.25.11(应该还有一个内网的IP地址，好比10.0.0.10)。若是Client A中的某个进程（这个进程建立了一个UDP Socket,这个Socket绑定1234端口）想访问外网主机18.181.0.31的1235端口，那么当数据包经过NAT时会发生什么事情呢？

首先NAT会改变这个数据包的原IP地址，改成155.99.25.11。接着NAT会为这个传输建立一个Session（Session是一个抽象的概念，若是是TCP，也许Session是由一个SYN包开始，以一个FIN包结束。而UDP呢，以这个IP的这个端口的第一个UDP开始，结束呢，呵呵，也许是几分钟，也许是几小时，这要看具体的实现了）而且给这个Session分配一个端口，好比62000，而后改变这个数据包的源端口为62000。因此原本是

（10.0.0.1:1234->18.181.0.31:1235）的数据包到了互联网上变为了（155.99.25.11:62000->18.181.0.31:1235）。

一旦NAT建立了一个Session后，NAT会记住62000端口对应的是10.0.0.1的1234端口，之后从18.181.0.31发送到62000端口的数据会被NAT自动的转发到10.0.0.1上。（注意：这里是说18.181.0.31发送到62000端口的数据会被转发，其余的IP发送到这个端口的数据将被NAT抛弃）这样Client A就与Server S1创建以了一个链接。

上面的是一些基础知识，下面的才是关键的部分了。

看看下面的状况：

接上面的例子，若是Client A的原来那个Socket(绑定了1234端口的那个UDP Socket)又接着向另一个Server S2发送了一个UDP包，那么这个UDP包在经过NAT时会怎么样呢？

这时可能会有两种状况发生，一种是NAT再次建立一个Session，而且再次为这个Session分配一个端口号（好比：62001）。另一种是NAT再次建立一个Session，可是不会新分配一个端口号，而是用原来分配的端口号62000。前一种NAT叫作Symmetric NAT，后一种叫作Cone NAT。若是你的NAT恰好是第一种，那么极可能会有不少P2P软件失灵。（能够庆幸的是，如今绝大多数的NAT属于后者，即Cone NAT）

peakflys注：Cone NAT具体又分为3种：

(1)全圆锥( Full Cone) : NAT把全部来自相同内部IP地址和端口的请求映射到相同的外部IP地址和端口。任何一个外部主机都可经过该映射发送IP包到该内部主机。

(2)限制性圆锥(Restricted Cone) : NAT把全部来自相同内部IP地址和端口的请求映射到相同的外部IP地址和端口。可是,只有当内部主机先给IP地址为X的外部主机发送IP包,该外部主机才能向该内部主机发送IP包。

(3)端口限制性圆锥( Port Restricted Cone) :端口限制性圆锥与限制性圆锥相似,只是多了端口号的限制,即只有内部主机先向IP地址为X,端口号为P的外部主机发送1个IP包,该外部主机才可以把源端口号为P的IP包发送给该内部主机。

好了，咱们看到，经过NAT,子网内的计算机向外连结是很容易的（NAT至关于透明的，子网内的和外网的计算机不用知道NAT的状况）。

可是若是外部的计算机想访问子网内的计算机就比较困难了（而这正是P2P所须要的）。

那么咱们若是想从外部发送一个数据报给内网的计算机有什么办法呢？首先，咱们必须在内网的NAT上打上一个“洞”（也就是前面咱们说的在NAT上创建一个Session），这个洞不能由外部来打，只能由内网内的主机来打。并且这个洞是有方向的，好比从内部某台主机（好比：192.168.0.10）向外部的某个IP(好比：219.237.60.1)发送一个UDP包，那么就在这个内网的NAT设备上打了一个方向为219.237.60.1的“洞”，（这就是称为UDP Hole Punching的技术）之后219.237.60.1就能够经过这个洞与内网的192.168.0.10联系了。（可是其余的IP不能利用这个洞）。

P2P的经常使用实现

1、普通的直连式P2P实现

经过上面的理论，实现两个内网的主机通信就差最后一步了：那就是鸡生蛋仍是蛋生鸡的问题了，两边都没法主动发出链接请求，谁也不知道谁的公网地址，那咱们如何来打这个洞呢？咱们须要一个中间人来联系这两个内网主机。

如今咱们来看看一个P2P软件的流程，如下图为例：

首先，Client A登陆服务器，NAT A为此次的Session分配了一个端口60000，那么Server S收到的Client A的地址是202.187.45.3:60000，这就是Client A的外网地址了。一样，Client B登陆Server S，NAT B给这次Session分配的端口是40000，那么Server S收到的B的地址是187.34.1.56:40000。

此时，Client A与Client B均可以与Server S通讯了。若是Client A此时想直接发送信息给Client B，那么他能够从Server S那儿得到B的公网地址187.34.1.56:40000，是否是Client A向这个地址发送信息Client B就能收到了呢？答案是不行，由于若是这样发送信息，NAT B会将这个信息丢弃（由于这样的信息是不请自来的，为了安全，大多数NAT都会执行丢弃动做）。如今咱们须要的是在NAT B上打一个方向为202.187.45.3（即Client A的外网地址）的洞，那么Client A发送到187.34.1.56:40000的信息,Client B就能收到了。这个打洞命令由谁来发呢？天然是Server S。

总结一下这个过程：若是Client A想向Client B发送信息，那么Client A发送命令给Server S，请求Server S命令Client B向Client A方向打洞。而后Client A就能够经过Client B的外网

地址与Client B通讯了。

注意：以上过程只适合于Cone NAT的状况，若是是Symmetric NAT，那么当Client B向Client A打洞的端口已经从新分配了，Client B将没法知道这个端口（若是Symmetric NAT的端口是顺序分配的，那么咱们或许能够猜想这个端口号，但是因为可能致使失败的因素太多，这种状况下通常放弃P2P  ---peakflys）。

2、STUN方式的P2P实现

STUN是RFC3489规定的一种NAT穿透方式，它采用辅助的方法探测NAT的IP和端口。毫无疑问的，它对穿越早期的NAT起了巨大的做用，而且还将继续在NAT穿透中占有一席之地。

STUN的探测过程须要有一个公网IP的STUN server，在NAT后面的UAC必须和此server配合，互相之间发送若干个UDP数据包。UDP包中包含有UAC须要了解的信息，好比NAT外网IP，PORT等等。UAC经过是否获得这个UDP包和包中的数据判断本身的NAT类型。

假设有以下UAC（B），NAT（A），SERVER（C），UAC的IP为IPB，NAT的IP为 IPA ，SERVER的 IP为IPC1 、IPC2。请注意，服务器C有两个IP，后面你会理解为何须要两个IP。

(1)NAT的探测过程

STEP1：B向C的IPC1的port1端口发送一个UDP包。C收到这个包后，会把它收到包的源IP和port写到UDP包中，而后把此包经过IP1C和port1发还给B。这个IP和port也就是NAT的外网IP和port，也就是说你在STEP1中就获得了NAT的外网IP。

熟悉NAT工做原理的应该都知道，C返回给B的这个UDP包B必定收到。若是在你的应用中，向一个STUN服务器发送数据包后，你没有收到STUN的任何回应包，那只有两种可能：一、STUN服务器不存在，或者你弄错了port。二、你的NAT设备拒绝一切UDP包从外部向内部经过，若是排除防火墙限制规则，那么这样的NAT设备若是存在，那确定是坏了„„

当B收到此UDP后，把此UDP中的IP和本身的IP作比较，若是是同样的，就说明本身是在公网，下步NAT将去探测防火墙类型，就很少说了(下面有图)。若是不同，说明有NAT的存在，系统进行STEP2的操做。

STEP2：B向C的IPC1发送一个UDP包，请求C经过另一个IPC2和PORT（不一样与SETP1的IP1）向B返回一个UDP数据包（如今知道为何C要有两个IP了吧，为了检测cone NAT的类型）。

咱们来分析一下，若是B收到了这个数据包，那说明什么？说明NAT来着不拒，不对数据包进行任何过滤，这也就是STUN标准中的full cone NAT。遗憾的是，full cone nat太少了，这也意味着你能收到这个数据包的可能性不大。若是没收到，那么系统进行STEP3的操做。

STEP3：B向C的IPC2的port2发送一个数据包，C收到数据包后，把它收到包的源IP和port写到UDP包中，而后经过本身的IPC2和port2把此包发还给B。

和step1同样，B确定能收到这个回应UDP包。此包中的port是咱们最关心的数据，下面咱们来分析：

若是这个port和step1中的port同样，那么能够确定这个NAT是个CONE NAT，不然是对称NAT。道理很简单：根据对称NAT的规则，当目的地址的IP和port有任何一个改变，那么NAT都会从新分配一个port使用，而在step3中，和step1对应，咱们改变了IP和port。所以，若是是对称NAT,那这两个port确定是不一样的。

若是在你的应用中，到此步的时候PORT是不一样的，那就只能放弃P2P了，缘由同上面实现中的同样。若是不一样，那么只剩下了restrict cone 和port restrict cone。系统用step4探测是是那一种。

STEP4：B向C的IP2的一个端口PD发送一个数据请求包，要求C用IP2和不一样于PD的port返回一个数据包给B。

咱们来分析结果：若是B收到了，那也就意味着只要IP相同，即便port不一样，NAT也容许UDP包经过。显然这是restrict cone NAT。若是没收到，没别的好说，port restrict NAT.

协议实现的算法运行图以下：

一旦路经到达红色节点时，UDP的沟通是没有可能性的(peakflys注：准备来讲除了包被防火墙blocked以外，其余状况也是有可能创建P2P的，只是代价太大，通常放弃)。一旦经过黄色或是绿色的节点，就有链接的可能。

最终经过STUN服务器获得本身的NAT类型和公网IP、Port，之后创建P2P时就很是容易了。

参考文章：

P2P技术原理：http://www.360doc.com/content/14/0305/17/8285430_357987074.shtml

P2P技术现状及发展将来：http://www.zte.com.cn/cndata/magazine/zte_communications/2007/6/magazine/200712

P2P原理及其经常使用的实现方式：http://www.cppblog.com/peakflys/archive/2013/01/25/197562.html