解决大型文件存储和传输问题的实践

 如今的企业数据中心存储容量和WAN（广域网）链接正面临着日益增长的大型非结构化数据文件。对于那些使用愈来愈多的视频、图片和图像的公司来讲，文件大小通常预计都是在不断增长。在最近的Network Computing State of Storage（网络计算存储情况）调查中发现，大部分回答者表示每一年的存储增加率为10%到24%。之因此形成这种现象的缘由是咱们在这种膨胀数据上的一般作法。咱们在内部存储目录和通讯带宽上的作法是迎合的是平常交易处理的小型文件，而不是针对大型数据有效载荷。

　　对于企业来讲有两个难题：提升带宽以便优化大型文件传输，使其符合业务需求；从新设计存储机制以容纳日益增长的大型文件。

　　Fiber Utilities Group是一家私有网络外包管理公司，管理着超过8000英里的光纤网络。该公司客户服务经理Dave Lunemann表示：“几年前，私有网络的声势尚未今天这么大。这是由于如今有这么多公司都依赖于互联网来知足它们的广域网需求。

　　不过，风向在改变。大型企业和公司关注的是它们所打交道的大型数据文件。Lunemann表示：“大型企业对服务质量（QoS）、安全性、延迟性和冗余性的要求很高。这也就是为何它们转而寻找私有网络的缘由。由于私网不像标准互联网那样有那么多的带宽限制。”

　　私网的效果是可观的。光纤私网的响应时间可让犹他州的客户像看本地银行那样看爱荷华州的银行，对业务来讲这是很好的。西海岸的基因研究部门能够将一个很是大型的文件安全快速地传送给东海岸的合做者，不浪费科学家的时间。跨州经营的医疗公司能够快速地传输MRI（磁共振成像）和X射线图像，优化病人的护理。

　　The Mill是一家位于伦敦的虚拟效果制做公司。该公司在伦敦、纽约和洛杉矶都有开发人员。它的客户包括耐克、Turner Classic Movies和BBC。计算机系统管理员Jonathan Brazier表示：“咱们实际上利用一个私有的MPLS（多协议标签交换）网络来链接咱们全部的办公室。

　　固然，大型文件管理并不只仅是在网络带宽限制下的文件传输。对于公司来讲，下一步就是制定一个数据中心设计战略来存储数据，以便可以以经济有效的方式快速访问数据。

　　Ilion是一家西班牙视频制做社，专门为全球客户创做电影动画。Ilion首席技术官兼技术总监Gonzalo Rueda表示：“在高峰时间，咱们要用350多我的手。”Ilion开始的时候只有20到40人，所以人员扩张加上天天产生的大型动画文件给它的视频渲染系统带来了极大的压力。

　　Rueda表示：“咱们聘用了咨询人员并审视了几个不一样的方案来解决咱们的大型文件存储问题。咱们并不只仅感兴趣于存储系统能够处理多少IOPS（每秒输入输出）或吞吐速度。咱们但愿获得一个与咱们目前业务相兼容的解决方案。对我来讲，这意味着咱们必须从新思考咱们的存储架构以便更好地知足将来的业务需求。”

　　Ilion最终决定采用BluArc的Titan 2200存储集群来升级存储。Rueda表示：“咱们的活跃网络工做站有90TB的数据，另外还有10TB的不太常常访问的数据必须放到归档中去。咱们同时还必须从新制定数据冗余性和热备用的最佳实践。”

　　结果就是Ilion同时采用FC（光纤通道）和SATA驱动器。将那些常常被访问的数据放到更快更昂贵的FC驱动器上，将不常常访问的数据放到更慢更便宜的SATA驱动器上。

　　Rueda表示：“自从咱们采用这个解决方案之后，咱们的速度提升3-4倍，并且咱们看到咱们对FC和SATA数据分配的策略是正确的。它让咱们在有70名动画人员同时工做的时候还能够支持繁重的生产负荷和实时文件，同时还不会带来性能上的降低。咱们还获得了可扩展性。这样的能力能够支持咱们日益扩张的业务。”

　　像Ilion这样的视频制做社和通常的中小企业不同，它们有着本身的独特的要求，就好像说跨国银行的带宽需求和通常大型企业也不同。不过，它们反映出大型数据文件的管理将成为每一个人须要面对的挑战。这主要是由于咱们将面对愈来愈多带富媒体内容的文件，并且咱们愈来愈多地利用互联网以及互联网论坛在兴起（好比社交网络）。全部这些都会产生大型文件，而这些文件都须要足够的带宽。

　　对于大企业和中小企业的公司IT部门来讲这意味着什么？若是他们还没开始作的话，如今是时候审视和从新思考存储和网络战略了。数据中心那帮对财务比较保守的人可能还不肯意作出改变，所以可能比较少的单位会放弃它们现有的东西而购买新的东西。不过，2011年预算规划中能够从新审视路线图，审视软硬件资产退休周期并用新的观点来审视数据中心存储和带宽该如何跟上业务需求。