Canal - 数据同步 - 阿里巴巴 MySQL binlog 增量订阅&消费组件

时间 2019-11-06

标签 canal 数据同步阿里巴巴 mysql binlog 增量订阅消费组件栏目阿里巴巴繁體版

原文原文链接

背景

早期，阿里巴巴 B2B 公司由于存在杭州和美国双机房部署，存在跨机房同步的业务需求，主要是基于trigger的方式获取增量变动。从 2010 年开始，公司开始逐步尝试数据库日志解析，获取增量变动进行同步，由此衍生出了增量订阅和消费业务，今后开启一段新纪元。php

当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.xhtml

基于日志增量订阅和消费的业务包括java

数据库镜像
数据库实时备份
索引构建和实时维护(拆分异构索引、倒排索引等)
业务 cache 刷新
带业务逻辑的增量数据处理

项目介绍

名称：canal [kə'næl]

译意：水道/管道/沟渠

产品定位：基于数据库增量日志解析，提供增量数据订阅和消费

关键词： MySQL binlog parser / real-time / queue&topic / index build

工做原理

MySQL主备复制原理

MySQL master 将数据变动写入二进制日志( binary log, 其中记录叫作二进制日志事件binary log events，能够经过 show binlog events 进行查看)
MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
MySQL slave 重放 relay log 中事件，将数据变动反映它本身的数据

canal 工做原理

canal 模拟 MySQL slave 的交互协议，假装本身为 MySQL slave ，向 MySQL master 发送dump 协议
MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
canal 解析 binary log 对象(原始为 byte 流)

重要版本更新说明

canal 1.1.x 版本（release_note）,性能与功能层面有较大的突破,重要提高包括:python

总体性能测试&优化,提高了150%. #726 参考: Performance
原生支持prometheus监控 #765 Prometheus QuickStart
原生支持kafka消息投递 #695 Canal Kafka/RocketMQ QuickStart
原生支持aliyun rds的binlog订阅 (解决自动主备切换/oss binlog离线解析) 参考: Aliyun RDS QuickStart
原生支持docker镜像 #801 参考: Docker QuickStart

文档

多语言

canal 特别设计了 client-server 模式，交互协议使用 protobuf 3.0 , client 端可采用不一样语言实现不一样的消费逻辑，欢迎你们提交 pull requestmysql

canal java 客户端: https://github.com/alibaba/canal/wiki/ClientExample
canal c# 客户端: https://github.com/dotnetcore/CanalSharp
canal go客户端: https://github.com/CanalClient/canal-go
canal php客户端: https://github.com/xingwenge/canal-php
canal Python客户端：https://github.com/haozi3156666/canal-python

canal 做为 MySQL binlog 增量获取和解析工具，可将变动记录投递到 MQ 系统中，好比 Kafka/RocketMQ，能够借助于 MQ 的多语言能力git

参考文档: Canal Kafka/RocketMQ QuickStart

问题反馈

邮件: jianghang115@gmail.com
报告 issue: github issues

其余资料

ADC 阿里技术嘉年华分享 ppt ( google docs)