大咖手把手教您,DLA一键建仓!

DLA很早以前就支持了对关系型数据库的查询,可是一直以来用户会有一个担忧:数据库

直接分析RDS里面的数据会不会影响线上业务。服务器

这个担忧很合理,除非你要查询的RDS是专门用来作后台数据分析使用的,不然直接大规模分析确实可能会形成数据库性能降低,影响前台业务。对于这个担心咱们作过一些改进的措施,好比提供hint让用户能够手动指定底层查询并发度, 可是不是最理想的方案。并发

所以咱们如今推出了一个极致方案: 天天自动、无缝地帮您把RDS里面的数据同步到OSS上面,并创建好相应的表结构 -- 跟RDS里面同样的表结构,让你能够基于OSS的数据进行无忧无虑的分析,这个功能咱们称之为一键建仓性能

一键建仓

首先打开DLA的Schema管理页面,这里显示了您全部的数据库。测试

点击“建立Schema”按钮进入建库向导选择页面,选择其中的“一键建仓”,点击“使用向导建立”url

由于一键建仓实际上是在打通你的RDS数据和OSS数据,所以咱们须要您的RDS和OSS受权:spa

授予好权限以后点击下一步进入一键建仓配置的主页面:3d

这个页面的左边列出了你全部的RDS,这是咱们要建仓的数据来源,选择其中您要建仓的RDS,右边的服务器名,端口会自动填上,而后您须要填上用户名,密码,以及要同步的RDS的库名。blog

照道理说这个RDS的库名应该提供一个下拉框直接选就行了,不过目前因为一些限制暂时只能手动输入。get

RDS信息填写完毕以后能够点击“测试链接”验证一下填写是否正确。

数据来源搞定以后,下一步咱们要填写“建仓配置”,这一块是咱们数仓相关的配置,在DLA的场景下主要是OSS相关的一些配置, 主要有三个:

  • Schema: 这份数据在DLA里面新建一个什么名字的Schema
  • 数据位置: 这份数据放在您的哪一个bucket的哪一个路径下
  • 同步时间: 天天几点帮您定时同步RDS的最新数据到OSS上面

这里同步时间要注意下,应该选择半夜业务低谷的时候进行同步,避免影响线上业务。另外选择数据位置的时候咱们会对您赋予DLA的OSS操做权限进行校验,若是没有赋予足够的权限,咱们会作提示:

一键建仓须要用户授予DLA对于所选择的路径有删除权限,由于咱们天天会同步最新的数据到OSS上来,这里就涉及到要删除老数据的操做,关于若是赋予DLA OSS删除权限的详情能够参见这篇文章: 如何受权OSS删除权限给DLA

为何前面已经进行了OSS受权,这里又来检查一遍OSS权限?

上一步受权的只是OSS只读权限,由于OSS删除权限兹事体大,所以没有在默认的权限里面,须要用户单独手动受权。

全部输入框有输入完毕以后点击“建立”就完成了建立操做,而后咱们能够去Schema列表去查看咱们经过一键建仓建立出来的这个新的Schema:

点击“详细信息”进入这个Schema的详情页面,能够看出跟普通的Schema不同,这个Schema的详情里面多了一个“配置”的选项卡,这个选项卡里面有一键建仓的详细配置。

若是有修改一键建仓配置能够点击更新。比较有意思的是这个“当即同步”的按钮,一键建仓创建好了以后,咱们只是创建了一个空的数据库,没有立刻进行同步,而是要等用户设定的时间才运行,以避免影响线上业务。若是用户判断对线上影响不大,想立马把数据同步过来以进行分析,那么能够点击“当即同步”的按钮。点击以后能够去“监控中心”的“任务列表”查看正在运行的一键建仓任务:

这里能够看到执行的任务的类型,名称,状态,点击详情能够看到JSON格式的更详细的状态信息:哪些表正在同步,哪些表已经同步完成:

等这个任务执行完成以后再回去看这个Schema就会发现已经有表了:

来,咱们再验证一下数据是否是真的过来了:

果真数据也有了,搞定!

总结

这里咱们介绍了DLA最新引入的一键建仓的功能,一键建仓的做用就是为了让数据在RDS里面的客户能够方便、快速、没有后顾之忧地对业务数据进行分析,但愿这个功能的引入可以让你们把RDS里面的数据更好的分析起来。

 

本文做者:xumingmingv

原文连接

本文为云栖社区原创内容,未经容许不得转载。

相关文章
相关标签/搜索