在企业环境中,对磁盘空间的需求是惊人的。数据备份、文件服务器、软件镜像、虚拟磁盘等都须要占据大量的空间。对此,微软在Windows Server 2012中引入了重复数据删除技术。
重复数据删除技术经过将文件分割成小的 (32-128 KB) 且可变大小的区块、肯定重复的区块,而后保持每一个区块一个副本,区块的冗余副本由对单个副本的引用所取代。这样,文件再也不做为独立的数据流进行存储,而是替换为指向存储在通用存储位置的数据块的存根。所以,咱们能够在更小的空间中存储更多的数据。此外,该项技术还会对区块进行压缩以便进一步优化空间。
根据微软官方的介绍,该项技术有四大好处:
1、容量优化:“重复数据删除”使得 Windows Server 2012 可以在更少的物理空间中存储更多的数据,并得到比之前版本的 Windows 操做系统明显更高的存储效率。之前版本的 Windows 操做系统使用单实例存储 (SIS) 或 NTFS 文件系统压缩。“重复数据删除”使用可变分块大小和压缩,常规文件服务器的优化率为 2:1,而虚拟数据的优化率最高可达 20:1。
2、伸缩性和性能: Windows Server 2012 中的“重复数据删除”具备高度的可伸缩性,可以有效利用资源,而且不会产生干扰。它能够同时对多个大容量主数据运行,而不会影响服务器上的其余工做负载。经过控制 CPU 和内存资源的消耗,保持对服务器工做负载的较低影响。此外,用户能够灵活设置什么时候应该运行“重复数据删除”、指定用于消除重复的资源并为“重复数据删除”建立有关文件选择的策略。
3、可靠性和数据完整性:在对数据应用“重复数据删除”时,保持数据的完整性。Windows Server 2012 利用校验和值、一致性和身份验证来确保数据的完整性。此外,Windows Server 2012 中的“重复数据删除”会为全部元数据和最常引用的数据保持冗余,以确保这些数据能够在发生损坏时进行恢复。
4、与 BranchCache 相结合提升带宽效率:经过与 BranchCache 进行集成,一样的优化技术还可应用于经过 WAN 传输到分支机构的数据。这会缩短文件下载时间和下降带宽占用。
做为系统管理员,有那么好的技术,天然是要来尝试一下。
首先要为系统添加Data Deduplication角色服务器
打开Server Manager,并点击File and Storage Services性能
选中Volumes,在你想要应用该项技术的卷上右键点击并选择Configure Data Deduplication测试
为了测试方便,把Deduplicate files older than的默认值5改成0优化
在实际应用中还能够根据本身的须要改变执行计划操作系统
如今咱们来看一下实际效果。
我在硬盘上拷了5个如出一辙的文件,单个文件大小为3.43G,可见当启用了重复数据删除以后,总共大小为17.1G的5个文件在磁盘上居然只占用了0bytes3d
再查看一下整个卷的状况,共占用3.38G,这3.38G天然就是数据区块的存根blog
我又尝试将这块启用了重复数据删除的硬盘放到一台装有Windows Server 2008的服务器上,在这台机器上能读出上面的文件信息,但无法使用这些数据。内存