华为公司近日宣布将利用自家FusionStorage产品与Alluxio开源软件实现大数据分析加速;此举相信可以为使人昏昏欲睡的缓慢数据分析流程带来一股新风。缓存
Alluxio此前曾名为Tachyon Nexus,是一家由Andreessen Horowitz资助的初创企业。分布式
FusionStorage 则属于华为公司旗下的分布式软件定义存储系统。其最新FusionStorage 6.0支持分布式块、文件与对象存储,同时可对数据进行分类、加密与重复数据删除。大数据
Alluxio公司的软件产品是一套之内存为中心的虚拟分布式存储系统。其功能至关于为HDFS节点集合等远程存储系统提供一套本地缓存。其基于本地节点集群运行,而各本地节点则供运行有大数据分析与查询任务的计算节点进行访问。加密
该软件提供:3d
· 配合自动数据放置的分层式存储机制(包括内存、闪存与磁盘)。对象
· 配合透明化命名机制的单一命名空间。blog
· 可集成原生S三、谷歌Cloud Storage、OpenStack Swift、阿里巴巴OSS、微软Azure Blob等存储方案。接口
· Fuse Connector,采用键-值接口。内存
· 一条命令便可完成集群部署。部署
· 具有指标报告功能。
Alluxio支持多种不一样底层(远程)存储系统,具体包括HDFS、Gluster、S三、OpenStack、GCS、NFS、OrangeFS、IBm Spectrum Scake、Ceph、Isilon等等。
百度公司在Alluxio的帮助下将Spark查询速度提高了30倍。本来须要15分钟才能完成的批量查询现在不到30秒便可搞定,并且一套1000用户Alluxio集群可以提供超过50 TB内存空间。
巴克莱银行亦在运行查询的计算节点与Teradata数据存储库之间采用Alluxio软件,从而将本来须要数小时的Spark任务加速至仅须要数秒。
听起来确实颇有搞头。咱们认为华为公司及其物联网/云战略确实可以与Alluxio实现良好配合。感兴趣的朋友亦可点击此处与此处分别查看Alluxio项目及其演示材料。