详细解析FCoE协议

详细解析FCoE协议

FCoE标准是博科首先提出来的。FCoE是由包括Brocade、IBM, HP,EMC, NetApp, Cisco, Emulex, Broadcom, Intel, Nuova, QLogic, and Sun厂商所共同支持与贡献T11标准委员会的协议。协议的具体内容是指FCoE直接在加强型无损以太网基础设施上传输光纤信道信号的功能的协议。FCoE能够提供标准的光纤通道原有的多种服务如发现、全局名称命名、分区等，并且这些服务均可以照标准原有的运做，保有FC原有的低延迟性、高性能。FCoE采用加强型以太网做为物理网络传输架构，可以提供标准的光纤通道有效内容载荷。所以，厂商也已经开发了针对无损10Gb以太网的数据中心架构。而此以太网标准被称为“聚合加强型以太网（CEE）”，能够避免相似TCP/IP协议的开销和数据包损失。

 

在过去的十年中，光纤通道做为存储局域网的一项链接技术取得了很大的成功。在这个过程当中，光纤通道提供了普遍的全新存储解决方案，包括更好的块传送性能，高可用性的存储存取，先进的数据中心备份及数据保护，基于虚拟化的高层存储服务以及高级管理工具。不过在近几年中，老是有各类各样的新兴技术，例如InfiniBand、NAS和iSCSI，不时地引起人们对于光纤通道(Fibre Channel，简称FC)发展将来的争论。

　　要不是可以推进成本或性能优点的发展，新技术很难取代已有的的成熟技术。例如，尽管令牌环(TokenRing)相较以太网有更高的性能(16Mb/s vs. 10Mb/s)和更强的功能，但以太网依仗其规模经济优点在局域网传输领域上顺利取代了令牌环。相比较之下，ATM网络也没法取代以太网成为桌面系统的链接标准，这主要是因为它没法与以太网庞大的安装基础相兼容。ATM的LANE(局域网仿真)实在存在太多问题。尽管InfiniBand以高性能的服务器集群应用证实了它在高端用户中的价值，可是它一直没法在局域网或存储局域网传输上与其它技术相抗衡。InfiniBand独特的布线方式和高速传输模式下的距离限制使得IT管理者们纷纷放弃高攀的念头。

做为存储业内著名的技术专家与出版了许多有关SAN技术书籍的做家，Tom Clark曾担任全球网络存储工业协会(SNIA)的理事与McDATA公司解决方案和技术总监，现为博科(Brocade)公司技术市场部的首席工程师。Tom Clark拥有近二十年的系统工程和设计实践经验，并且掌握普遍的数据通信和联网专门技术。上图即为TomClark 2005年来华主讲“存储网络虚拟化研讨会”后接收本站记者专访时照片(手中的书就是他当年探讨存储虚拟化技术的新做)。

　　光纤通道做为一项成功的技术解决了许多与高性能数据块传输相关的难题。毕竟，光纤通道是一种模拟数据中心大型机环境的传输架构。大多的传输通道每每都是以高带宽和低负荷为手段，在最大程度上实现数据中心环境中大量数据的高效传输。为了保持稳定一致的性能，光纤通道借助包括Buffer-to-bufferCredit等在内的内部机制来下降网络阻塞的潜在影响。若是丢失一个帧，光纤通道不会像TCP同样立刻中止直到恢复丢失的帧，而是以数千兆的传输速率从新发送整个序列的帧。光纤通道拥有一系列领先的存储机制，例如自动寻址、设备发现、光纤架构和状态变动通知等，这些机制为主机(服务器)和目标设备(存储系统)之间的交换处理提供了便利。

　　光纤通道也为高可靠和高可用性架构引进了一系列更高层的服务。光纤路由协议、基于策略的路由、基于硬件的中继、虚拟光纤网络、光纤网络安全以及故障隔离等服务都成为了实现稳定传输的基础。针对存储虚拟化和数据保护所提供的，基于光纤网络的应用服务也进一步促进了存储管理的简化及自动化。光纤通道标准和符合标准的产品均针对存储数据进行了优化，最大程度上提升了数据的性能和可用性。所以，基于光纤通道的SAN为全球主要的企业和学院提供着强大的技术支持。

　　最近业内发布了一项新的光纤通道标准，以实如今以太网上运行光纤通道协议。这项名为FCoE(FibreChannel over Ethernet )协议但愿能在现有光纤通道的成功基础上，借助于以太网的力量从新保持自身在数据中心存储局域网中的霸主地位。一些业内分析人士表示，FCoE是光纤通道厂商与iSCSI阵营进行竞争的新尝试。毕竟iSCSI也是经过以太网传输数据存储块。然而当咱们拿FCoE与iSCSI作比较时会发现，实际上这两个协议解决是彻底不一样的问题。iSCSI经过TCP/IP协议在可能产生损耗或阻塞的局域网和宽带网上传送数据存储块。相比之下，FCoE则只是利用了以太网的拓展性，并保留了光纤通道在高可靠性和高效率方面的优点。届时这些优点还将在10G以太网上有更好的体现。咱们目前暂且将其称为CEE(Converged EnhancedEthernet)。

　　FCoE并非要代替传统的光纤通道技术，而是在不一样链接传输层上对光纤通道进行拓展。正如图1所示，FCoE的价值在于在一样的网络基础体系上用户有权利选择是将整个逻辑网络所有当成传输存储数据与信号的专用局域网，或是做为混合存储数据、信息传送、网络电话、视频流以及其它数据传输的共用网络。FCoE的目标是在继续保持用户对光纤通道SAN所指望的高性能和功能性的前提下，将存储传输融入以太网架构。FCoE还特别针对刀片服务器平台提供了一种简化接口和布线的方法。

　　

　　图一 ：在普通的以太网架构上支持多协议

　　FCoE目前已经正式提交给了管理光纤通道标准的官方组织--美国国家标准委员会(ANSI)T11 委员会进行审批。而且会收录到新的FibreChannel Backbone Generation 5 (FC-BB-5)规范中。因为FCoE具有了新一代加强形以太网的众多优点，因此这项标准的审批须要与管理以太网技术标准的美国电气与电子工程师协会(Instituteof Electrical and Electronics Engineers，IEEE)保持密切合做

早期业内就在以太网存储协议的标准化方面作过不少努力，但限于当时百兆或千兆以太网性能而均未能如愿。例如在2001年，Nishan Systems公司开发了针对局域网或数据中心的mFCP(metroFibre Channel Protocol)协议以及针对广域应用的Internet光纤通道协议(iFCP)。mFCP 支持在基于以太网的光纤通道上应用UDP和IP协议，可是mFCP中缺乏TCP中其它的用于数据包恢复的协议。mFCP 协议假设以太网基础体系自己的设计已经能够避免网络阻塞，而且具有基本的流量控制机制将丢帧减到最低。若是确实发生了丢帧，mFCP协议将会借助上层的光纤通道协议对适当的帧序列作出重传的回应。除IP路由层以外，mFCP 协议的实际运做与光纤通道Class-3的未确认服务(Unacknowledged Service)相相似。

　　尽管iFCP 协议被普遍地应用于灾难恢复及其它远程存储应用，但因为10G以太网还在建设之中，因此mFCP没法在1 Gb/s的速率下得很好的效果。但mFCP 的主要优势在于它能够整合以太网和光纤通道SAN，提升光纤通道协议栈的效率。

　　此外还有一些其它的小众协议试图将存储协议直接与以太网相结合，如AoE协议和HyperSCSI以太网存储协议。但这些技术标准仅限定于低性能存储应用。例如HyperSCSI借助SCSI协议来验证和恢复传输错误，因此在数据中心领域缺少光纤通道协议的优点。

　　基于以太网的蜕变

　　光纤通道和以太网传输都是使用的数据链路层协议(第二协议层)。在OSI七层模型中，第一协议层是传输网络信号的物理媒介，第二协议层是成帧协议(FramingProtocol )，当上层协议处理网络路由和会话管理等更高层级服务时，本层协议会当即做用于下层介质。由于每一个附加协议层都会带来更多的协议处理和开销，因此第二协议层是从一个网络节点向另外一个网络节点快速传输数据的最为快捷的途径。

　　光纤通道做为链路层传输协议，最初是专门被设计用来保证数据中心传输通道的高效率。这其中多方面缘由的。首先，在千兆或数千兆的速率下，网络须要一个流控机制来避免网络阻塞引发的丢帧问题。光纤通道借助Buffer-to-bufferCredit解决了流控制问题。一端设备只有当接收方的缓冲区已清空而且发出接收准备信号((R_RDY))后才能发送附加帧。其次，光纤通道结构从本质上来讲是一个独立的子网，专门处理在数据中心内的主机与目标设备之间的数据通信问题。尽管如今光纤通道有SAN到SAN交流的辅助路由能力，但光纤通道路由使用的是网络地址转换协议(Network Address Translation，NAT)，而不是上面第三层的路由协议。

　　光纤通道技术在这几年时间中，发展出了不少更适用于存储需求的更高层功能。例如，基于每台光纤通道交换机都配备的简单域名服务(SimpleName Service，SNS)，就为发起者寻找目标资源提供了设备发现机制。基于端口或WWN(World Wide Name)的分区实现了不一样存储单位间的彼此隔离，防止未受权服务器与特定存储资产之间通讯。注册状态变化通告(Registeredstate change notifications，RSCNs)提供了一种将服务器与存储网络中存储系统相连接的方式。通讯重路由(Fabric Shortest Path First ，FSPF)协议可在多台交换机架构下创建最佳的路径。并容许多在多台交换机之间进行多重链接，以提升带宽。具有故障隔离的光纤路由实现了各个独立SAN间的资源共享。虚拟光纤网络技术可使不一样部门或应用程序之间共享一个公共的SAN，而相互不受影响与限制。

　　为了保持此前光纤通道所具有的传输优点和以存储为中心的特征，FCoE须要对传统的以太网和相应的控制器进行重大的改进，以提供设备发现、通知(Notification)、安全和其余高级存储服务。若是以太网能够知足数据中心的苛刻要求的话，那么经过以太网封装光纤通道帧的FCoE协议就彻底可以成为终端到终端传输(FCoE发起者与FCoE目标直接通讯)或网关应用(FCoE发起者经过网关与光纤通道目标设备通讯)最简单直接的解决方法。可是为了使用户实施成为可行，那些光纤通道上的高级服务必须获得保留。

防止丢包

　　FCoE发展过程当中所遇到的第一个挑战是将经过本地光纤通道的Buffer-to-bufferCredits特性所实现的流控制机制得以延续。虽然以太网交换机没有相对应的缓冲到缓冲机制，但以太网标准能够经过支持MAC控制帧来调节流入的信息量。IEEE 802.3x 流量控制标准是基于暂停帧流量控制技术的。这个技术会使得发送者后面的传输内容延迟一段特定的时间再发送，若是接收设备在这段时间过去以前清除缓冲，那么它会从新发送暂停帧，同时将终止时间归零。这使发送者能够从新传送直至接收到另外一个暂停帧。

　　由于FCoE机制必须支持存储数据的读写，因此全部网络存储路径下的终端设备和以太网交换机必须支持双向IEEE802.3x流控制。尽管这样的效果可能不如Buffer-to-bufferCredits机制那么理想，可是IEEE 802.3x暂停帧能够提供对应的功能性，来调节存储流量并防止阻塞和缓冲区溢出引发的丢帧。

　　IEEE中的IEEE802.3ar阻塞管理研究小组和IEEE 802.1au阻塞通知研究小组负责以太网阻塞问题的研究工做。特别是对于存储事务来讲，这有助于加强流控机制的服务层级质量，使得最关键的任务的数据流在可能发生阻塞的状况下得到最高优先权。

　　冗余路径和故障切换

　　光纤通道高可用性的特色主要是得益于其可提供的主机与目标设备之间冗余路径的Flat或CORE/EDGE的拓扑网络。从主路径到辅路径的主机总线适配卡、链路、交换机端口、交换机或存储端口，其中任何一点发生故障就会引起整个网络的故障。在某些状况下，这两条路径都是动态的而且兼备高性能和可用性。光纤通道架构中的光纤最短路径优先协议用来决定光纤交换机间传输的最佳路径，其判断基于交换机的链路带宽与流量负荷。

　　以太网基础体系必须为FCoE提供相应的耐障碍性来保证存储访问的畅通无阻。当多以太网交换机经过交换机内链路(例如以彻底网路拓扑)链接时，IEEE802.1D快速生成树协议在网络上创建主路径，避免帧的发送造成无止境的环形回路。交换机之间的动态桥接端口处于推动状态，非动态失效切换桥接端口处于阻塞状态。但因为阻塞的链接不能用于数据的传输，因此网路中的阻塞链接都表示未利用和闲置的资源。快速生成树经过网桥协议数据单元来监控全部桥接端口的状况，若是链接、桥接端口或交换失效的话，快速生成树协议启动必要的失效切换桥接端口，在网络上创建选择路径。

　　此外，IEEE 802.1s 多生成树协议(MultipleSpanning Tree Protocol，MSTP)和IEEE 802.1Q-2003虚拟LAN(VLAN)技术定义了另外的加强以太网路径切换的机制。与光纤通道的硬分区技术相相似，VLAN 标记可实现多达4096个群集节点组共存于一个公共的以太网基础体系内。在多业务传输平台上对生成树的加强可使每一个VLAN组中有一个单独的生成树。所以，一个虚拟局域网阻塞模式下的桥接端口能够调节成另外一个虚拟局域网的转发模式，而且实现对全部网络互连性更充分的利用。

　　即便有多业务传输设备的加强，已使用的网络链接仍不可避免地致使了快速生成树协议对转发和阻塞状态的依赖。愈来愈多复杂的第三层路由协议，例如开放最短路径优先协议(OpenShortest Path First，OSPF)，在跳跃计数、带宽、延迟时间和其余测量标准的基础上选择末端节点之间的最佳路径，而且实现多路径上的负载均衡。即时串流传输协议(RSTP)做为第二层协议没法支持这样的附加功能性而保持向后兼容。须要设法找到将负载均衡、多点接入(例如一个节点有接入同一以太网网段的两条动态链路)、多播技术和广播技术引入第二层以太网的方法。

从光纤通道到以太网的映射

　　FCoE也必须解决以太网和光纤通道各自所传输的帧之间的差别。一般一个以太网的帧最大为1518字节。而一个典型的光纤通道帧最大为大约2112字节。所以在以太网上打包光纤帧时须要进行分段发送，而后在接收方进行重组。这会致使更多的处理开销，阻碍FCoE端到端传输的流畅性。

　　所以须要一个更大的以太网帧来平衡光纤通道和以太网帧大小上的差别。有一个称为"巨型帧"的实质标准，尽管不是正式的IEEE标准，但它容许以太网帧在长度上达到9k字节。在使用"巨型帧"时须要注意，全部以太网交换机和终端设备必须支持一个公共的"巨型帧"格式。

　　最大的巨型帧(9K字节)能够实如今一个以太网帧下封装四个光纤通道帧。可是这会使光纤通道链接层恢复以及应用802.3x暂停指令的缓冲流量控制变得更加复杂。如图2所示，FCoE向一个巨型以太网帧内封装一个完整的光纤帧(不使用循环冗余校验)。由于以太网已经提供了帧检验序列(FCS)来检验传输数据的完整性，因此不须要光纤帧的循环冗余校验(CRC)。这进一步下降了传输层所需的处理开销，同时提升通道的性能。因为光纤帧可能包括拓展的、可选择的信头或虚拟光纤标记信息，因此以太网"巨型帧"的大小就不合适，而且会随着封装光纤帧的须要而发生变化。

　　

　　图2 在以太网封装一个光纤帧

　　FCoE帧是使用六字节MAC硬件目的地址和源地址的本地第二层以太网帧。但MAC地址是存储透明的，而且只能用于从源到目的地帧的交换。以FCoE帧中保留了存储事务中须要的光纤通道寻址，因此须要从FCID(Fibre Channel ID)到以太网MAC地址映射的方法。能够选择一个与地址解析协议(ARP)相相似的协议来实现FCID到MAC的地址映射。例如，在第三层IP环境下，地址解析协议用于从上层IP网络地址到第二层硬件MAC地址映射。此外，光纤通道使用一些较为熟知的地址来得到存储服务(例如经过SNS发现设备机制)。FCoE要求有相应的功能性来完成从熟知的地址到对应MAC地址的映射。

　　在传统光纤通道中，HBA或存储端口在链接到以太网交换机时会接收FCID。FCoE设备没法确保通用以太网交换机提供专门的存储服务，因此必须依靠可用于FCoE交换机内部的域控制器和存储服务引擎来提供光纤通道登录、寻址和其它高级服务。将来的数据中心导向器将会在一个高可靠性、多协议平台上将以太网、光纤通道和FCoE存储服务融合为一体。

FCoE、iSCSI和FCIP

　　FCoE、iSCSI和FCIP都是能够在以太网上进行块数据传输的存储协议。然而每个当初都是以不一样的目标和设计标准发展起来。因为FCoE是由专门的数据中心存储协议发展而来，其中包含有FC和数据中心以太网协议。iSCSI是设计用来在包括局域网和广域网在内的任何基于IP的系统上可靠地传输存储数据。如图3所示，iSCSI借助位于第三层的整个TCP/IP协议栈来实现路由和数据包恢复，因此iSCSI能够用于可能存在潜在的网络带宽损耗。相比之下，FCIP被设计为用于远程链接FC SAN的隧道协议。象iSCSI同样，FCIP亦承担TCP/IP的处理开销，所以它的设计不适合本地高性能数据中心应用。

　　

　　图3 以太网、光纤通道和iSCSI协议栈

　　iSCSI主要做用在于其经济性，发挥空闲的驱动器、以太网卡、以太网交换机和IP路由器，在服务器和存储之间传输SCSI数据块。尽管服务器接入和网络基础系统成本较低，可是iSCSI存储目标成本会随着是否使用廉价磁盘驱动和是否配置基于硬盘或基于软盘的控制器而改变。由于没有专门的本地iSCSI磁盘驱动，iSCSI目标必须依靠某种形式的协议桥接(从iSCSI 到SAS/SATA或从iSCSI到FC)控制器来存储和检索数据块。因此iSCSI并不等同于那些有时用于部门级FC SAN中的JBOD。

　　在1Gb以太网中，iSCSI不需花费不少就可实现经过网关将低性能的二级服务器整合到现有的数据中心的FC SAN中，或为部门使用提供共享存储。可是在10G以太网中，iSCSI就渐渐失去了普遍宣扬的成本优点。在服务器上使用10G以太网意味着主程序要求高性能和可靠性。尽管标准NIC卡可在10G下使用，但10G的iSCSI服务器经过例如TCP可卸载适配器等辅助设备来加强性能，并经过iSER logic来避免从接口到应用存储器的SCSI数据的多存储副本。设计精密的10GBiSCSI适配器增长了成本，但使iSCSI 能够在主机上将CPU开支减到最低，来更充分地利用更大的带宽。

总结

　　介于庞大的安装基础，早已成熟的光纤通道技术已经具有了众多的存储特性和管理工具，这大大利于对数据中心内的共享存储系统进行各类配置。聚合加强以太网(CEE)技术使用户能够在公共以太网基础体系数据中心将存储、信息传送、网络电话、视频和其它数据结合在一块儿。FCoE是实现以太网高效率块存储的组件技术。FCoE不是光纤通道的替代物而是光纤通道的拓展，而且将与光纤通道SAN共存。

　　由于FCoE是对以太网的进一步加强，因此它的发展须要光纤通道和以太网的技术专家和标准组织之间的相互协调。尽管流控制和以太网生成树协议等链接层问题是一个重大的挑战，可是还须要提出更多的解决方案来继续保留用户正有效配置的光纤通道高级服务。即便是在10G网络传输速率下，仍须要对今天的以太网技术进行深刻研究以适合数据中心存储的应用。做为光纤通道架构技术的先驱，博科公司在保留数据中心性能、可靠性和高级存储服务所提供的优点的同时，也向FCoE引入了专业技术以下降其余解决方案的复杂性。

　　关于做者

　　Tom Clark是博科公司技术市场部的首席工程师。做为市场、研发和用户之间沟通的重要桥梁，Tom 专一于确保存储网络技术有效配置的特性。他是全球网络存储工业协会成员、SNIA 互操做委员会前任联合主席。他发表了许多有关存储网络的文章和白皮书，其中有DesigningStorage Area Networks Second Edition (Addison-Wesley， 2003)，IPSANs： A Guide to iSCSI， iFCP and FCIP Protocols for Storage Area Networks(Addison-Wesley， 2001)，以及Storage Virtualization: Technologies for SimplifyingData Storage and Management (Addison-Wesley 2005)。