面向云数据库,超低延迟文件系统PolarFS诞生了

随着国内首款Cloud Native自研数据库POLARDB精彩亮相ICDE 2018的同时,做为其核心支撑和使能平台的PolarFS文件系统的相关论文"PolarFS: An Ultra-low Latency and Failure Resilient Distributed File System for Shared Storage Cloud Database"也被数据库顶级会议VLDB 2018录用。8月,阿里云数据库团队亮相于巴西里约召开的VLDB 2018,对整个业界起到了很是积极的影响。数据库

VLDB(Very Large Data Base)和另外两大数据库会议SIGMOD、ICDE构成了数据库领域的三个顶级会议。VLDB国际会议于1975在美国的弗雷明汉马 (Framingham MA) 成立,是数据库研究人员,供应商,参与者,应用开发者,以及用户一年一度的顶级国际论坛。服务器

VLDB主要由四个主题构成,分别为:Core Database Technology (核心数据库技术),Infrastructure for Information Systems (基础设施信息系统),Industrial Applications and Experience (工业应用与经验) 以及 Experiments and Analyses(实验和分析)。网络

从09年至今的数据分析来看,VLDB的论文接受率整体是比较低,其中,核心数据库主题中的论文接受率大概为16.7%;基础设施信息系统方面的论文接受率大约为17.9%;工业应用与经验的论文接收比例近视为18%;而实验和分析部分的为19%左右。因而可知,论文被VLDB接收不是件容易的事情,必须是创新性很高,贡献很大的论文才有机会被录用。架构

本文着重介绍PolarFS的系统设计与实现。数据库设计

背景

如同Oracle存在与之匹配的OCFS2,POLARDB做为存储与计算分离结构的一款数据库,PolarFS承担着发挥POLARDB特性相当重要的角色。PolarFS是一款具备超低延迟和高可用能力的分布式文件系统,其采用了轻量的用户空间网络和I/O栈构建,而弃用了对应的内核栈,目的是充分发挥RDMA和NVMe SSD等新兴硬件的潜力,极大地下降分布式非易失数据访问的端到端延迟。目前,PolarFS的3副本跨节点写入的访问总延迟已经很是接近单机本地PCIe SSD的延迟水平,成功地使得POLARDB在分布式多副本架构下仍然可以发挥出极致的性能。分布式

设计初衷

针对数据库设计分布式文件系统会带来如下几点好处:性能

计算节点和存储节点能够使用不一样的服务器硬件,并能独立地进行定制。例如,计算节点不须要考虑存储容量和内存容量的比例,其严重依赖于应用场景而且难以预测。大数据

多个节点上的存储资源可以造成单一的存储池,这能下降存储空间碎化、节点间负载不均衡和空间浪费的风险,存储容量和系统吞吐量也能容易地进行水平扩展。阿里云

相关文章
相关标签/搜索