数字时代信息存储技术的发展

在人类信息技术发展史上,数字技术是一项划时代的成就。综观IT发展史,数字技术已有过两次发展浪潮。第一次是以处理技术为中心,以处理器的发展为核心动力,产生了计算机工业,特别是PC工业,促使计算机迅速普及和应用;第二次是以传输技术为中心,以网络的发展为核心动力,经过互联网,人们不管在何处均可以方便地获取和传递信息。这两次浪潮极大地加速了信息数字化的进程,愈来愈多的信息活动转变为数字形式,使数字化信息爆炸性增加,从而引起了数字技术的第三次浪潮—存储技术浪潮。安全

实际上,数字技术在任什么时候候都是处理、传输和存储技术的三位一体,缺一不可。数据存储技术一直都在发展与进步,但它一直在后台,被处理技术和网络技术的光辉所掩盖,如今它终于走上了前台,成为数字化舞台的主角之一。服务器

从新认识数字存储技术网络

过去谈到存储技术的发展趋势,老是用大容量、高速度、低价格和小型化来形容。但随着愈来愈多的关键信息转变为数字形式,使应用对存储技术产生了新的需求。如今咱们有必要审视一下信息存储应用的新特色,从中能够看出技术发展的新趋势。并发

数据已成为最宝贵的财富 数据是信息的符号,数据的价值取决于信息的价值。因为愈来愈多的有价值的关键信息转变为数据,数据的价值也就愈来愈高。对于不少行业甚至我的而言,保存在存储系统中的数据是最为宝贵的财富。在不少状况下,数据要比计算机系统设备自己的价值高得多,尤为对金融、电信、商业、社保和军事等部门来讲更是如此。设备坏了能够花钱再买,而数据丢失了对于企业来说,损失将是没法估量的,甚至是毁灭性的。所以,信息存储系统的可靠性和可用性、数据备份和灾难恢复能力每每是企业用户首先要考虑的问题。为防止地震、火灾和战争等重大事件对数据的毁坏,关键数据还要考虑异地备份和容灾问题。性能

计算机应用模式发生变化 计算机系统结构设计中有一条重要的原理:加快常常性事件(即占用时间最多的事件)。计算机应用模式对常常性事件有决定性的做用。早期计算机仅用于计算,CPU活动是最常常的事件,加快其速度最重要;以后在网络应用中,计算机通讯成为占时间最多的事件,加快网络速度就成为当务之急;目前在大部分网络应用中,存储已成为常常性事件,正如专家认为,目前的计算瓶颈已从过去的CPU、内存、网络变为如今的存储,所以,存储是最值得加快的常常性事件。从技术的角度讲,目前存储系统的I/O率(单位时间完成任务数)和数传率(每秒传输字节数)还远不能知足高端应用的需求,存储系统须要大幅度提升其速度性能。操作系统

数据量不断增加 人们在信息活动中不断产生数字化信息,数据量老是在不断增加,某些时候还会产生突发性增加,如多媒体应用和网络应用就产生了这种突发性增加。对于大部分应用,CPU和网络的速度达到某个值就知足了要求,但对存储容量的需求倒是没有止境的,由于永远都有新的数据产生。所以,存储系统要有良好的可扩展性。除此以外,现代企业还要求这种扩展应不中断如今的业务,这就带来一个动态可扩展或动态可伸缩的课题。设计

全天候服务已成大势 在电子商务和大部分网络服务应用中,7×24小时甚至365×24小时的全天候服务已经是大势所趋。这不只意味着没有营业时间的概念,还意味着营业不能中断。国外的信息调查机构曾对各行业停机形成的损失作过大量的统计,数据代表,停机数小时对现代企业的损失是至关大的,停机超过一天,对一个企业来说是不能忍受的,停机一周则将是毁灭性的。全天候要求存储系统具备极高的可用性和快速的灾难恢复能力,集群系统、实时备份、灾难恢复都是为全天候服务所开发的技术。接口

存储管理和维护自动化 之前的存储管理和维护工做大部分由人工完成,因为存储系统愈来愈复杂,对管理维护人员的素质要求也愈来愈高,出差错的可能性也愈来愈大,稍不注意就会丢失数据。现代存储系统要求具备易管理性,最好具备智能化的自动管理和维护功能。进程

多平台的互操做性和数据共享 因为历史缘由,企业中存在着多种信息平台,既有各类操做系统的服务器,又有各厂家不一样型号的存储设备。多平台的互操做性和数据共享对应用的方便性、减小重复投资和保护企业的已有投资是很是重要的。存储系统要有足够的开放性,其中标准和协议的制定很是重要,各厂家之间的联盟和合做也是十分必要的。事件

所以,现代存储系统具备高可靠性、高可用性、高性能(I/O率和数传率)、动态可扩展性、易维护性和开放性等众多方面的需求,而目前使用的存储系统还远不能知足这些需求,它对现有的存储技术提出了挑战,刺激了各类存储新技术的发展。

存储技术迎接需求的挑战

为了迎接这种挑战,学术界和工业界都投入了空前的人力及物力进行研究与开发。人们从存储机理、器件与设备、接口与通道、系统结构和存储软件等各方面进行了大量的研究。

研究新的存储机理 提升存储密度是信息存储界永恒的主题,而硬盘密度的提升最为引人瞩目。从1991年开始,硬盘的密度以每一年60%的速度提升,而到1997年后,每一年的增加则超过了1倍。物理学家设定的物理极限屡次被突破,其余存储器要取代硬盘的说法也一次又一次被抛在一边。如今,商品化硬盘的密度已达到每平方英寸20Gb,实验室则已达到100Gb,比1957年IBM推出的第一台硬盘的密度提升了上千万倍。这种提升得益于对存储机理的研究。GMR磁头、加钌夹层介质、超低浮动技术和PRML信号处理技术为密度的提升作出了主要贡献。光存储技术也在飞速进步,常规的磁光和相变存储密度不断提升。虽然光存储在面记录密度上不如硬磁盘,但它的可换性提升了其竞争优点,另外,它还有多层、多波长和体记录等磁记录所没有的原理优点,于是发展出多层多波长光存储、全息光存储、近场光存储等下一代超高密度存储技术,并可望在3~5年内实现实用化。

新的器件与设备 用于手持式移动设备的闪存技术有了飞速发展,成为移动存储的主流128MB甚至更大容量的闪存已成为商品。IBM推出的1英寸微硬盘Microdrive具备1GB的容量,是移动存储中使人印象深入的产品,可实现手持式移动的多媒体存储。在台式机和服务器层面,硬盘仍然是绝对的主流。高端硬盘的速度有了明显的提升,1.5万转/分、5ms的硬盘已经面世,2万转/分的硬盘正在实验室中研制。用于备份的1.44兆软盘虽然尚未被彻底淘汰,但在多媒体内容的备份上已彻底无能为力,代替它的有众多产品,它们各有特色。从数据备份的安全角度讲,磁光盘是最好的,只是目前价格较贵。在软件的大量复制、发布和交换应用中,CD-R/DVD-R还是最好的选择。

接口与通道 这方面最近几年取得了很大的进步,并发生了较大的变化。虽然并行接口还是主流,ATA和SCSI两种传统并行接口的速率已分别达到133MB/s和160MB/s,但接口的串行化已成为趋势。光纤通道(FC)的硬盘已成为高端磁盘阵列的首选,应用愈来愈多; P1394接口的硬盘也已面世,最近还推出了USB 2.0接口的移动硬盘。在SCSI-3标准中,除了并行接口外,还包括了FC、P1394和SSA三种串行接口。并行接口的主要缺点是:数据传输率难以提高,能串接的设备数目太少,接口数据线长度过短以及缺少即插即用功能,这些在构成更大的存储系统时都成为瓶颈,于是,串行接口必然会愈来愈流行。此外,研究中的接口与总线还有Infiniband和iSCSI。

网络存储和企业存储 器件和设备这一级不管发展多好,都没法知足网络和企业存储的多种需求,这就须要在系统结构和软件这一级来解决问题。与一个存储芯片在计算机主存系统中的做用同样,存储装置(最主要是硬盘)在这里只是做为一个构件而存在,互连的硬件和软件在此起到了最为关键的做用。

磁盘阵列是最普遍应用的存储系统,它用并行带来了高性能,用冗余带来了高可用性,它也是构成更大存储系统的基础设备。

按照流行的观点,通常认为在网络存储和企业存储环境中存在着三种典型结构,即DAS、NAS、SAN。在将来几年中,SAN会成为网络存储和企业存储的主角。

Storage over IP 光纤通道的SAN虽然有优良的结构和性能,但也存在两个很大的缺点。其一是光纤通道的互连设备极其昂贵,其二是存储设备之间的互操做性很差。而基于IP的存储(Storage over IP)就能够很好地克服这两个缺点。

IP存储的主要思想是全部的链接都采用以太网和IP协议,其主要技术有iSCSI和IP-SAN。iSCSI是IBM和Cisco建议的标准,它使数据块在以太网上传输。若是将SAN的链接设备和传输协议都换成IP,就构成了IP-SAN。其中的存储设备能够是iSCSI设备,也能够将普通存储设备经过转换器转成等效的iSCSI设备。IP-SAN采用的是普通的IP交换机等链接设备,价格比光纤通道的链接设备低得多,技术也成熟得多。另外,互操做性也会大大改观。目前,IP-SAN的性能尚未FC-SAN高,但因为IP交换机的技术进步远快于FC的交换机技术,如10G以太网交换机上市会比10G光纤交换机早得多,价格也便宜得多。预计3年后,IP-SAN会成为市场的主流。

存储虚拟化 存储虚拟化(storage virtualization)虽然不是一个新的概念(如卷管理就是一种存储虚拟化的服务器软件),但目前具备了新的内涵,并成为存储管理中逐步走向主流的技术。它无论物理设备在何处,也无论有多少数量和多少种类的存储设备,只要在逻辑上为计算机呈现一个虚拟的存储池便可。在虚拟存储技术管理下的各类存储设备的集合,对用户来讲就等效于一个本地的大硬盘。这种技术将在将来2年内走向成熟。

存储管理软件 存储管理软件在存储系统中的地位愈来愈重要,在上述的各类技术中,不少功能都是由存储管理软件来完成的。存储管理软件主要包括存储资源管理(存储媒介、卷、文件管理)、 数据备份和数据迁移、远程备份、集群系统、灾难恢复以及存储虚拟化等。存储管理提升了资源的利用率和工做效率,还提升了系统的可用性。

智能存储 智能存储的概念起源于加州大学伯克利分校的ISTORE项目。主要思想是在每一个硬盘上都装有处理器,使其具备必定的智能,每一个驱动器上还装有各类传感器,用以感知驱动器的状态。整个存储系统由上百个这样的智能硬盘组成,其中有大量冗余。在工做过程当中,硬盘可监测自身的状态,一旦发现有可能发生故障,就将数据和任务转移到冗余的硬盘中,将故障消灭在萌芽状态,并向管理员报告可能的故障,直接换上一个新盘便可。在整个过程当中,系统的运行几乎彻底不会被中断,具备极高的可用性和可维护性。从此,智能存储概念的内涵应该比这个例子更加普遍,如可根据负载的大小和特色自动调整带宽和RAID级别,感知多个用户的存储需求后自动分配存储资源等。

数据存储技术的热潮已在世界范围内兴起,在国际学术界,一些著名的大学都大力开展了存储技术和存储系统的研究工做。在工业界,几乎全部的著名IT企业都以至关大的力度推出了本身的存储系统产品,同时在存储领域出现了一大批新创业的公司。能够预见,数据存储技术将在近几年获得更快的发展。整体来讲,我国学术界、工业界和有关部门尚未充分意识到信息存储技术浪潮的到来及其重要性,与IT的其余领域相比,信息存储技术研究和开发的力度都很小。实际上,像RAID、NAS和SAN这样的存储系统开发主要是软件和板卡级硬件设计工做,芯片和硬盘均可购买,适合于我国的技术水平,其增值空间大,市场需求强烈,能够造成我国IT产业新的经济增加点。