杉岩海量图片分布式存储解决方案

随着互联网、云计算及大数据等信息技术的发展，愈来愈多的应用依赖于对海量数据的存储和处理，如智能监控、电子商务、地理信息等，这些应用都须要对海量图片的存储和检索。因为图片大可能是小文件(80%大小在数MB之内)，以GFS、HDFS为表明的适用于流式访问大文件的分布式存储系统，若直接用来存储图片，因为元数据膨胀，在扩展性和性能方面均存在严重问题。

为了解决HDFS在小文件存储方面的问题，一般的作法是先将不少小文件合并成一个大文件再保存到HDFS，同时为这些小文件创建索引，以便进行快速存取。典型技术包括Hadoop自带的Archive、SequenceFile，但均须要用户本身编写程序，实现小文件的合并。为了实现小文件合并对用户的透明，需从系统层面解决HDFS小文件问题。论文针对具体应用场景进行了探索，但不具备通用性。

SandStone MOS海量图片解决方案

对于海量图片数据的存储问题，杉岩海量对象存储（SandStone MOS）解决方案采用去中心化分布式架构，同时利用软件定义的方式实现了单一名字空间条件下数百PB级规模的容量扩展，业务能够随时随地访问而不受数据存储位置的限制。

在提高海量小文件访问性能方面，SandStone MOS利用哈希计算实现了数亿级文件的高效访问。针对文件检索困难，SandStone MOS支持标签功能，文件存储时会自动设置标签，从而更好地与业务结合，知足高效检索。

此外，SandStone MOS在易用性与可维护性方面也超越了同级别产品，其采用“x86通用服务器+存储软件”的分布式解耦架构，将底层存储空间与上层业务逻辑空间进行分离，软硬件的升级不会影响到整个系统的正常运行。

即便系统有再多应用更新，也不会影响存储空间的使用。值得一提的是，SandStone MOS独创的分布式存储数据盘漫游功能，能够帮助企业用户渐进式的进行老旧硬件设备更换，不影响业务的正常运行。

在对象存储领域的专一与持续创新，换来的是行业的高度承认。去年8月，杉岩数据成为首家经过Intel中国云计算创新中心测试并发布报告的软件定义存储厂商。

与此同时，杉岩数据做为国家信息化标准委员会云计算标准工做组成员单位及中国开源云联盟理事单位，前后参与了分布式存储国家标准的制定工做及Ceph行业白皮书的编写工做。

现在，对象存储正焕发出更大的生命力，一场存储革命也已开启。以杉岩数据为表明的创新型存储厂商，正经过不断深耕对象存储领域，帮助企业构建更加智慧的IT基础设施，推进传统存储朝着更高效、更集约、更易用的方向全面演进。