【戴嘉乐】详解IPFS的本质、技术架构以及应用

戴嘉乐是前百度高级研发工程师，ipfser.org&巴比特专栏做者。戴嘉乐去年8月参与了FileCoin的众筹，从而了解到IPFS技术，独立开发了两款基于IPFS的开源应用，一个是与IPFS有关的wiki系统，另外一个是IPFS相关的地理位置检索系统。

IPFS是什么？

IPFS的中文名是星际文件系统，由Juan Benet在2014年5月份发起。Juan Benet的我的经历很传奇，他毕业于斯坦福大学，在建立IPFS项目以前，他创办的第一家公司被雅虎收购。2015年，他建立的IPFS在YCombinator孵化竞赛中拿到了巨额的投资，同时成立了协议实验室。这个实验室团队由14位核心开发者以及社区中上百位代码贡献者组成的。

IPFS本质上是一种内容可寻址、版本化、点对点超媒体的分布式存储、传输协议，目标是补充甚至取代过去20年里使用的超文本媒体传输协议（HTTP），但愿构建更快、更安全、更自由的互联网时代。

咱们天天上网使用APP刷朋友圈、微博都在使用HTTP协议，它基于TCP／IP的计算机应用层面，从服务器传输超文本数据到本地浏览器，本地浏览器或APP渲染后呈现给用户。基于这样的网络环境构成了CS或BS架构，最后注入BAT这样大型网络提供商。

互联网平台所提供的网络服务大体通过了三种模式的迭代历程：

• 1.第一个模式属于集中化，例如早期的12306由于无法分散去作，只有一个中心服务群，全部买票的流量直接搭载在这个服务群上，承载的压力很是大。

• 2.第二个模式属于分散集群，相似于O2O百团大战时各个网站须要创建不一样区域下的服务群，它们背后的IDC机房，会让一样的服务在一个局域内分散，这就减轻了中心服务器的压力。

  前两种模式容易产生一些弊端：在第一种模式里，服务高度依赖中心网络。大公司或者创业公司没法承受宕机，运维有一个KPI指数叫SLA，稳定性没有到99.9%的话，基本不合格。SLA须要消耗特别大的成本，大公司须要雇一批运维专家或专业人士，去保障系统的稳定性。在第二种模式里，存储数据有丢失的风险。你们常常开玩笑的电缆被挖断，员工删库跑路，都是隐患。同时，这两种模式的带宽成本相对高不少，会形成必定带宽资源的浪费。好比《中国有嘻哈》第一期海选的视频播放量有10亿次，假设视频文件大小是1GB，播放整个视频须要消耗1000PB的带宽量。若是按照0.001美圆1GB带宽成本，爱奇艺光一期节目须要支付一百万美金给ISP（互联网服务提供商）。

• 3.IPFS有但愿成为第三种模式。IPFS想打造一个点对点的网络拓扑，至关于颠覆HTTP所表明的分布关系，它具备内容可寻址的特色，经过文件内容生成惟一的哈希标识，必定程度上节约了空间开销的成本。

HTTP协议使用的域名寻址，最终会映射到最底层，找到某个域名所对应的IP地址下的某个主机，以及某个文件目录的某个文件。它不关心是否存在相同的文件，但内容寻址会经过惟一的标识去访问，而且提早检验这个标识是否已经被存储过。若是被存储过，直接从其它节点读取它，不须要重复存储，必定意义上节约了空间。

举个具体场景的例子。假设我想要看《环太平洋》这部电影，小明以前下载过这部电影，他启动了IPFS节点，将这个视频文件加入了IPFS网络。他会获得一个哈希指纹b，同时发布到公共网关，获得了一个/IPFS/b的路径名。他把哈希指纹和路径名都告诉我，我要作的事情是启动一个本地节点，对该网关发一个寻址PIN的请求，IPFS自动索引分布式哈希表的哈希值，找到指纹b所对应的节点列表。大的视频一般不会都存在一个节点，可能分片存在其它一些子节点上，IPFS把这些节点列表所有并行抓取，最后由本地的manager拼成完整的文件。并行的速度远远大于直接下载完整文件的速度，我很快就能在本地化的浏览器上看到电影，还能够继续分享给其余人。

IPFS的架构

IPFS至少有八层子协议栈，从上至下为身份、网络、路由、交换、对象、文件、命名、应用，每一个协议栈各司其职，又互相搭配。

• 身份层和路由层能够一块儿解释。对等节点身份信息的生成以及路由规则是经过Kademlia协议生成制定，KAD协议实质是构建了一个分布式松散Hash表，简称DHT，每一个加入这个DHT网络的人都要生成本身的身份信息，而后才能经过这个身份信息去负责存储这个网络里的资源信息和其余成员的联系信息。如同微信名片分享，在没法经过直接搜索微信号的状况下，若是你要找一我的，能够经过有这我的联系方式的朋友分享名片来创建联系。

• 网络层比较核心，使用的LibP2P能够支持任意传输层协议。NAT技术能让内网中的设备共用同一个外网IP，咱们都体验过的家庭路由器就是这个原理。

• 交换层，是相似迅雷这样的BT工具。迅雷实际上是模拟了P2P网络，并建立中心服务器，当服务器登记用户请求资源时，让请求一样资源的用户造成一个小集群swarm，在这里分享数据。这种方式有弊端，由于服务器是由迅雷统一维护，若是出现了故障、宕机时，下载操做没法进行。中心化服务还能够限制一些下载请求，人们发明了一种更聪明的方式就是Bittorrent，让每个种子节点所要存储的数据，经过哈希表存储在里面，BT工具相对不太受监管，服务更加稳定。

  IPFS团队把BitTorrent进行了创新，叫做Bitswap，它增长了信用和账单体系来激励节点去分享，我推断FileCoin有很大几率是基于Bitswap，用户在Bitswap里增长数据会增长信用分，分享得越多信用分越高。若是用户只去检索数据而不存数据，信用分会愈来愈低，其它节点会在嵌入链接时优先选择信用分高的。

  这一设计能够解决女巫攻击，信用分不可能靠机器刷去提升，一直刷检索请求，信用分越刷越低。请求次数和存储量的变量之间有一个比较精妙的算法，相似一个抛物线，前期能够容忍不少东西，达到必定次数后再也不信任。

• 对象层和文件层适合结合来谈，它们管理的是IPFS上80%的数据结构，大部分数据对象都是以MerkleDag的结构存在，这为内容寻址和去重提供了便利。文件层是一个新的数据结构，和DAG并列，采用Git同样的数据结构来支持版本快照。

• 命名层具备自我验证的特性（当其余用户获取该对象时，使用指纹公钥进行验签，即验证所用的公钥是否与NodeId匹配，这验证了用户发布对象的真实性，同时也获取到了可变状态），而且加入了IPNS这个巧妙的设计来使得加密后的DAG对象名可定义，加强可阅读性。

• 最后是应用层，IPFS核心价值就在于上面运行的应用程序，咱们能够利用它相似CDN的功能，在成本很低的带宽下，去得到想要的数据，从而提高整个应用程序的效率。

新的技术取代老的技术，无非就两点：第一，能提升系统效率；第二，可以下降系统成本。IPFS把这两点都作到了。

我整理了一个IPFS族谱关系图，同时也是一个纵向数据流图。刚才所说的八层协议，其实每一层的实现都绑定在对应的模块下，进行了一个直观的图表设计。

IPFS的团队在开发时，采用高度模块集成化的方式，像搭积木同样去开发整个项目。协议实验室团队2015年创立，到17年的时间里都在作IPLD、LibP2P、Multiformats这三个模块的开发，它们服务于IPFS底层。

• Mutiformats是一系列hash加密算法和自描述方式（从值上就能够知道值是如何生成）的集合，它具备SHA1\SHA256 \SHA512\Blake3B等6种主流的加密方式，用以加密和描述nodeID以及指纹数据的生成。

• LibP2P是IPFS核心中的核心，面对各式各样的传输层协议以及复杂的网络设备，它能够帮助开发者迅速创建一个可用P2P网络层，快速且节约成本，这也是为何IPFS技术被众多区块链项目青睐的原因。

• IPLD实际上是一个转换中间件，将现有的异构数据结构统一成一种格式，方便不一样系统之间的数据交换和互操做。如今IPLD支持的数据结构，支持比特币、以太坊的区块数据。这也是IPFS为何受到区块链系统欢迎的缘由之二，它的IPLD中间件能够把不一样的区块结构统一成一个标准进行传递，为开发者提供了成功性比较高的标准，不用担忧性能、稳定和bug。

IPFS应用了这几个模块的功能，集成为一种容器化的应用程序，运行在独立节点上，以Web服务的形式，供你们使用访问。

• 最后是Filecoin， 做为去年7月才宣布的项目，它的开发进度至今保密。Filecoin把这些应用的数据价值化，经过相似比特币的激励政策和经济模型，让更多的人去建立节点，去让更多的人使用IPFS。

我更但愿你们把IPFS和FileCoin分开来看，若是IPFS玩得好，能够建立不少FileCoin项目出来，它自己的价值和意义没有IPFS这么大。

IPFS的应用意义

第一，能够为内容创做带来必定的自由。Akasha是一个典型的应用，它是一个基于以太坊和IPFS的社交博客创做平台，用户创做的博客内容经过一个IPFS网络进行发布，而非中心服务器。同时，用户和以太坊钱包帐户进行绑定，用户能够对优质内容进行ETH打赏，内容创做者能以此赚取ETH，如同人脑挖矿同样。它没有太多监管的限制，也没有中间商抽成，内容收益直接归创做者全部。

第二，能够下降存储和带宽成本。我以前也举过爱奇艺的例子，而作视频比较成功的项目叫「Dtube」。它是一个搭建在Steemit上的去中心化视频播放平台，其用户上传的视频文件都通过IPFS协议进行存储，具备惟一标识。相较于传统视频网站，它下降了同资源冗余程度，同时大大节约了海量用户在播放视频时所产生的带宽成本。

第三个，能够与区块链完美结合。区块链的本质是分布式帐本，自己的瓶颈之一就是帐本的存储能力，目前大部分公链的最大问题是无法存储大量的超媒体数据在本身的链上。比特币至今所有的区块数据也才30-40G左右，以太坊这样可编程的区块链项目也只能执行和存储小段合约代码，DApp想发展成超级App，受到了极大的限制。

运用IPFS技术解决存储瓶颈是目前来看的过渡方案，最典型的应用就是EOS。EOS引觉得傲的是能够支持百万级别TPS的并发量，其中除了DPOS共识机制的功劳以外，还归功于其底层存储设计是采起IPFS来解决大型数据的传输效率。

EOS将本身打包好的区块数据经过IPLD进行异构处理，统一成一种便于内容寻址的数据结构类型，并挂载到IPFS的link上，让IPFS网络承担存储和P2P检索的逻辑，而不消耗EOS区块链系统自己太多的计算资源。

第四，能够为传统应用提供分布式缓存方案。 IPFS-GEO 是我本身以前写的，它是一个为传统LBS应用提供分布式缓存的项目，能够将地理位置坐标数据经过GeoHash算法转化成一维字符串，并将与之相关联的具备检索价值的数据存入IPFS网络，由IPFS网络标识惟一性，并分布在各个邻近节点上。

当检索请求到来时，系统先经过字符串近似度范围比较，缩小检索范围，加快检索效率，经过NodeID从附近节点拿到超媒体数据，达到相似分布式缓存的效果，大大提升了LBS应用整个检索动做的效率。

IPFS的明星应用

OpenBazaar是IPFS上的一个明星应用，我给它取了一个中文名叫开放集市，前一段时间刚拿到比特大陆500万美圆的投资。

在以前的1.0版本，OpenBazaar被称之为黑市，那时没有应用IPFS，利用ZeroMQ来实现P2P交易，必定程度也绕过了中心化的检查，把交易的手续费做为红利给到用户。同时它整合了比特币做为支付渠道，轰动一时，用户数量在短期内迅速提高。

开放集市在2.0版本发布以后，考虑到法律等因素，官方加入了一层审查机制，同时支持了比特币以外的BCH等数字货币，而且整合和重构IPFS，取代了以前的ZeroMQ。

如今，众多开放集市上的商店在没有用户上线的状况下，也能够在主机上就被运行。之前必须同时登录才能够交易，如今利用IPFS至关于实现了离线店铺。这同时意味着，访问你的店铺的人越多，店铺数据被复制越多，有利于优质的店铺宣传和推广，这是必定意义上的价值回归。

我把它称为明星项目，不光由于它是基于IPFS并且作得不错，还由于它对IPFS所有的重构，它把IPFS全部的源码、协议和各类配套设施都从新开，不只重构了IPFS的分支，改了协议名，同时也更改了协议头，必定意义上把OB的网络和主的IPFS网络隔离开。

OpenBazaar但愿有更集中化的控制，想创建本身的矿场和机房来保证服务的稳定，在去中心和中心化之间选择了一个中间点。我以为目前大部分的传统应用和公司，也能够这样去考虑。彻底去中心化不太可能，因此能够取其精华、去其糟粕。

---

相关文章和视频推荐

【董天一】什么是IPFS?(一)

圆方圆学院聚集大批区块链名师，打造精品的区块链技术课程。 在各大平台都长期有优质免费公开课，欢迎报名收看。 公开课地址：ke.qq.com/course/3451…