李飞飞演讲实录 | 云原生数据库2.0：一站式全链路数据管理与服务

简介：5月29日阿里云开发者大会上，阿里巴巴集团副总裁、阿里云数据库产品事业部负责人李飞飞演讲实录。

1、浅谈云原生

（一）云原生，是将来使用云的标准方式

我认为云原生是将来使用云的标准方式，云计算资源无处不在、取之不尽、用之不竭，不用关心云资源在哪里、有多少。就像今天咱们使用自来水同样，没有⼈会费尽心思考虑水从哪里来。

（二）阿里云全面引领云原生分布式数据库发展方向

阿里云在云原生数据库领域作了多年的实践、尝试与探索，与开发者一块儿成长。咱们认为接下来云原生数据库必须关注和发展的领域有如下五个：

1）云原生分布式

将云原生和分布式技术深度融合，将Share Nothing、Share Storage、Share Everything架构深度融合。

2）智能化

利用AI、机器学习的技术，让数据库系统可以实现自动驾驶的能力，让开发者能够更好地管理和使用数据库的服务，如自动调参、索引推荐、异常检测等。

3）安全可信

安全可信的能力十分重要，好比说如何确保数据是全链路的、加密的、安全的，在存储、传输、计算过程当中都可以提供安全可信的能力。

4）在离线一体化

减小数据链路，数据从在线处理、到在线分析、到离线的存储，可否提供一体化的体验，让开发者能够更简单、更便捷地访问和处理数据。

5）物联网多模

面对AIOT、物联网、车联网的蓬勃发展，可否打造一个面向开发者与应用的物联网多模的数据库。

以上是咱们认为接下来很是重要的五个方向，也正由于在这些方向的耕耘，阿里云在去年得到了Gartner全球数据库领导者的突破。

2、阿里云数据库 – 数据管理生命周期

相信对于任何一个开发者而言，在数据层面最关心的是数据管理生命周期。下面站在开发者的视角，阐述数据的全链路生命周期究竟是什么。

第一步是数据的生产和集成，在这一步如何更高效地作数据集成、数据清洗、数据传输、数据备份。当作完这步之后，下一步是数据的实时处理，这里面就是咱们很是熟悉的传统关系型数据库、在线交易、OLTP等。紧接着就是数据分析和发现，用户如何作数据脱敏、数据的血缘关系等。

以上就是数据管理的生命全周期，咱们在上面构建不一样的解决方案，和开发者、合做伙伴一块儿面向应用、行业、客户去打造最终的Killer APP。

下面就从生命周期的各个阶段来阐述一下咱们为开发者提供了哪些工具，开发者基于这些工具能够作哪些事情。

（一）数据生产与集成

数据生产与集成是数据的第一辈子命周期，就像新生儿同样，数据来到这个世界必需要经历采集，而后是存储和处理。

如上图所示，在这个过程当中阿里云提供了DTS(Data Transmission Service)，支持17种以上不一样的数据源，能够作实时增量或者全量的同步，让应用很是简洁地实现数据从多元异构的数据源到多元异构的目标端实时的数据同步。

DBS能够实现跨云的备份、云上云下数据备份的统一，让数据在多云多端之间无缝流动。

DMS(Database Management Service)能够帮助用户作任务编排、数据分析、血缘分析等一系列事情。

以上构成了阿里云在数据生产和集成的基础能力。

（二）数据实时处理

数据生产和集成以后是数据的实时处理。

做为开发者，咱们最关心的就是确保在任何状况下，在线交易场景的应用永远在线、数据永远不丢失，在这里咱们提供了不一样的选择。

1）云数据库 RDS：提供企业级数据库自治能力

首先，阿里云提供本身的云数据库RDS。

每一个云厂商都有RDS，阿里云的RDS和其余RDS有什么不一样呢？

发展到云原生数据库2.0，阿里云RDS最大的特色就是提供企业级的数据库自治能力(Autonomous Database Service)。

首先，经过Kubernetes构建一个云原生的管控平台，全部的管控能力都进行了微服务化和容器化部署，这样能够屏蔽底层多元异构的资源，为开发者提供一个云原生的开发环境和部署环境。

在这个上面，咱们利用AI和Machine Learning的技术，构建了自动驾驶数据库平台。为开发者提供了许多能力，好比自动压测，咱们能够自动生成压测数据，让它的工做负载与在真实环境几乎同样，这样开发者能够更好地调测在线系统。另外，咱们提供了索引推荐、参数调优等一系列自动化自治服务能力。

此外，困扰开发者的许多问题，好比在线应用运行速度变得很慢，线程池被打满等，经过DAS(Database Autonomy Service)能够帮助开发者更快更好地发现与解决。

2）云原生关系型数据库 PolarDB

除了阿里云RDS以外，云原生数据库2.0最核心的能力之一就是云原生关系型数据库PolarDB。

为了让开发者可以更好地在PolarDB上开发应用，咱们确保PolarDB 100% 兼容 MySQL、100% 兼容 PostgreSQL、高度兼容 Oracle 语法，让开发者实现轻松上云。

不少企业和开发者有向全球部署的需求，好比在线教育、游戏，须要咱们的应用可以就近服务用户，阿里云推出了全球部署的能力，称为Global Database。这表示PolarDB能够实现跨AZ(Available Zone)的部署，实现RPO等于0，很是低的RTO。经过跨AZ的能力数据实时同步，能够实现用户在开发者的应用上就近访问。

为了让开发者更好地体验到阿里云的产品，咱们推出了I/O带宽免费、性价比更高的PolarDB实例，价格仅为其余云厂商云原生数据库的30%—40%。

除此以外，咱们还进行了性能测试。

咱们用开发者很是熟悉的SysBench，链接事务处理、读写混合测试，测试了CPU 密集型和I/O密集型。

如上图所示，咱们对比了PolarDB和CPU密集型、I/O密集型两个云原生数据库在SysBench上的标准性能测试，能够看到Polar DB在两种不一样工做负载的状况下都展示出很是优异的性能。

3）云原生分布式数据库PolarDB-X

开发者常常面临海量数据高并发、超高并发的场景。针对这种场景，阿里云推出了PolarDB-X，即PolarDB的分布式版本，也就是将云原生架构存储计算分离，上面再构建一层架构来支持一体化分布式数据库。

PolarDB-X支持海量高并发、全局二级索引、HTAP复杂查询、分布式事务、在线弹性扩展。

以上图的全局二级索引为例，它支持ACID，这样让开发者能够更关注业务应用的开发，而不须要关注分库、分表这样复杂的逻辑。

咱们用X-Paxos来支持两个数据副本、一个日志副本，并且咱们的三副本能够作到跨AZ部署、支持同城跨机房的RPO等于0。

（三）数据分析与发现

实时数据库处理以后，当积累了大量的交易数据，如何在数据里面发现信息？这就来到了数据分析和发现阶段。

云原生数据仓库AnalyticDB（简称ADB）是云原生架构，计算存储分离，计算资源按需弹性，相对传统方式，成本能够降低3倍。

咱们在这种云原生的架构上实现了冷热数据分层，1TB能够低至114元/月，一份存储多种计算是将来数据分析领域发展的大趋势，用一个存储多种计算引擎可让咱们适应工做负载，究竟是离线的ETL、仍是在线的交互式分析，总体成本能够大幅度降低。

利用前文的这些技术，能够帮助开发者实如今离线一体化的开发和应用，支持离线ETL以及在线的交互式分析，本质上就是将MTB架构和BSP模型完美地结合在一块儿。

咱们也高度兼容生态，而且咱们很快会推出Spark兼容版，将这些开源的生态在咱们的云原生数仓ADB里面完美结合，实现基于负载的智能化调度和混合应用的支持。

（四）数据开发和管理

最后是数据开发和管理。

咱们面向数据库开发者提供一站式的在线数据平台，阿里云的开发者社区支持了几十万数据库开发者利用DMS的能力,访问和管理多元异构的数据库资源。

DMS支持开发者们全部耳熟能详的数据库，从阿里云的PolarDB、PolarDB-X、RDS、AnalyticDB等，再到MySQL、Oracle、SQL Server等。

接入之后，它提供数据资产、数据库设计、数据库开发、数据集成、数据服务等一站式的能力，帮助开发者实现数据化运维、容灾/多活、T+1/实时/归档、数据集中处理、BI报表、多维分析等能力。

3、阿里云数据库开源发布

（一）阿里云数据库产品开源路径

阿里云做为全球云原生数据库的领导者，将成为第一家宣布核心的云原生数据库技术进行开源的云厂商，邀请开发者一块儿共建云原生数据库2.0。

做为全球数据库领导者，咱们将云原生数据库PolarDB for PG Paxos高可用集群版开源，目前在Github上开源公开访问。

在9月份，咱们会推出基于HLC混合时钟的高扩展分布式版本，在明年会推出Share Nothing的Sharding和插件化版本，在MySQL生态很早就开源了RDS AliSQL，现在作一个重磅升级，RDS会推出RDS GalaxySQL，以后会推出Paxos高可用性版，而后是云原生的分布式版。

（二）阿里云数据库开源计划：打造云原生分布式数据库生态

咱们看一下具体作哪些事情？

上图中是咱们为MySQL和PG生态两大社区准备开源的组件。

数据库正在加速云化，云原生以及分布式技术正在重塑数据库整个技术栈。阿里云在自身互联网业务和云数据库服务有丰富的实践经验，在高可用、分布式、云原生、存计分离有技术积累。这些技术以组件和系统的方式开放出来，与开源社区一块儿共建云原生分布式数据库生态。全部开源的组件都采用对开发者最友好的协议，遵循Apache Version 2.0协议，欢迎开发者和咱们一块儿共建全球领先、有中国特点的云原生数据库2.0社区。

好比经过开源的PolarDB for PG版本，利用X-Paxos协议，帮助开发者快速实现RPO等于0，兼容及高可用数据库。抛弃传统的主备模式，走向三节点的模式，全部开源的组件都是即插即拔即用，让开发者快速享受到PolarDB的能力，而且基于现有的PG、MySQL生态持续发展，欢迎你们加入云原生数据库2.0的开源社区。

源码开放地址：https://github.com/alibaba/PolarDB-for-PostgreSQL

【相关阅读】

阿里云开源PolarDB数据库，与社区共建云原生分布式数据库生态

云原生数据库 2.0：一站式全链路数据管理与服务

本文内容由阿里云实名注册用户自发贡献，版权归原做者全部，阿里云开发者社区不拥有其著做权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。若是您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将马上删除涉嫌侵权内容。