构建基于Kafka中转的混合云在线数据同步-CloudCanal实战

本文介绍了如何实现mysql 同步数据到Kafka实现混合云在线数据同步

junyu-cloudcanal

简介

本文主要介绍如何使用 CloudCanal 快速构建安全的混合云在线数据生态，彻底使用 CloudCanal SAAS 能力达成。

此方案具备如下几个特色

• 采用 Kafka 作数据中转
• 双边数据库都不开公网端口
• 互联网数据通过 SSL 加密
• 数据出口通过用户名、密码验证，并设置 ip 白名单增强安全管控

例子中的云数据库、云消息产品、自建数据库等均可以替换成本身当前环境的自建资源或各类云资源。

技术点

混合云数据生态主要的难点在于 网络安全 ,部分用户由于传输同步数据较多，也比较在乎流量资源损耗。

基于 CloudCanal 实现的方案，更加关注 网络安全 层面的问题，作到敏感资源 网络单向隔离、连接鉴权、传输加密。

下图简要示例了下 互联网模式 和 专线模式 数据上下云。

举个"栗子"

本文案例主要演示 互联网模式 的跨云数据迁移和同步,具体场景是如何进行数据上云(自建机房数据库-> 阿里云云数据库)，而且长期维持混合云数据体系。固然，相同的方案也能够反过来使用，只是在数据源选择外网内网有所区别。

安装 CloudCanal

• 准备一个 ECS 和 自有机房虚拟机，并按照 ECS安装客户端 和 自建机器安装客户端 文档分别安装。
  

准备 Kafka

• 在阿里云 Kafka 购买页

  购买相应的 Kafka , 验证能力可先购买按量实例

  • 注意选择 公网/VPC实例，而且选择稍大的公网流量

• 部署实例请选择 2.x.x 版本，最大消息大小 建议调整稍大些(好比 4MB)
  

• 进入实例，建立 Consumer Group，并记下名称
  

子帐号受权并添加数据源

• 按照 阿里云子帐号准备 文档，建立或者受权子帐号，并记住子帐号 AK 和 SK , 请授予基本的数据库访问权限 AliyunRDSFullAccess,AliyunKafkaFullAccess
• 分别添加云下自建数据库、阿里云 RDS for MySQL 和 阿里云 Kafka
  
  • 添加阿里云资源时，请在第二步选择自动添加迁移机器白名单
  • Kafka 用户名密码能够在 阿里云 Kafka 实例详情页最底下安全配置处找到
  • TLS 文件请从 阿里云Kafka根证书下载

开始造数据

• 源端数据库为云下自建数据库，IUD 20:60:20, 1~2 KB/条数据, 每一个表 2~4 并发, 每一个事务 2~4 条变动, RPS 1000 左右。
  

使用 CloudCanal 建立云下数据同步任务

• 选择数据源，并选择合适的选项

  • 1 处请选择云下或自建集群
  • 2 ，3 源端自建数据库选择内网，对端 Kafka 选择公网
  • 4 处能够选择兼容 开源 Canal 消息格式，或自带的 CloudCanal 消息格式

• 选择数据同步，并勾选初始化数据
  

• 选择表，此处不要修改对端 topic，按照默认规则生成便可。
  

• 选择列，能够裁剪掉一部分列不进行迁移同步
  

• 建立确认

• 任务正常流转运行中

使用 CloudCanal 建立云上迁移同步任务

• 选择数据源，并选择合适的选项

  • 1 请选择 ECS 上客户端所在集群
  • 2，3 都选择内网分别访问 Kafka 和 RDS for MySQL
  • 4 填写以前在 Aliyun Kafka 控制台建立的 Consumer Group
  • 5 选择和云下任务一致的消息格式

• 中间略过表、列选择，一路点击下一步便可

• 建立确认

• 二者任务正常运行中

• 云上消费任务建立由于是在云下任务运行以后，因此须要将云上消费任务位点回溯到云下任务建立以前，以涵盖所有数据。

校验下数据

这次案例为了校验数据，咱们偷个懒，直接打开 RDS for MySQL 公网连接，用云下 CloudCanal 集群连接过来直接作一个数据校验 （生产环境禁止！！！！）

• 为了让校验结果更加清晰，中止造数据

• 申请 RDS for MySQL 公网地址，并修改 CloudCanal 数据源管理页面对应实例的公网地址
  

• 建立校验任务

  • 1 选择云下或本地集群
  • 2 ，3 源端自建 MySQL 选择内网访问，目标端 RDS for MySQL 选择外网访问

• 选择任务类型为数据校验

• 中间略过表、列选择，一路点击便可

• 建立确认

• 任务运行完毕，结果正确

总结

本文简要介绍如何使用 CloudCanal SAAS 能力快速构建一条安全、跨互联网数据迁移同步方案。

此方案有如下特色：

• 双边数据库都不开公网端口
• 互联网数据通过 SSL 加密
• 数据出口通过用户名、密码验证，并设置 ip 白名单增强安全管控

若是小伙伴们以为这篇分享还不错，请转发、点赞、试用(SAAS 或 下载社区版)吧。
加入CloudCanal粉丝群掌握一手消息和获取更多福利，请添加咱们小助手微信：suhuayue001

CloudCanal-免费好用的企业级数据同步工具，欢迎品鉴。
了解更多产品能够查看官方网站： http://www.clougence.com
CloudCanal社区：https://www.askcug.com/