otter数据同步

时间 2020-03-07

标签 otter 数据同步繁體版

原文原文链接

1、Otter目前支持了什么html

1. 单向同步， mysql/oracle互相同步node

2. 双向同步，无冲突变动mysql

3. 文件同步，本地/aranda文件git

4. 双A同步，冲突检测&冲突补救github

5. 数据迁移，中间表/行记录同步web

导历史表还须要程序代码实现吗？还在用mysql的主从复制吗？ Otter都能为你解决。算法

典型的场景是帐户信息表和帐户交易明细表，更新帐户余额后须要登记一条帐户明细，而且保证在一个事务里，用户能够经过交易明细表查看交易记录，可是交易明细表的数据量是逐步递增的，用户量多的系统，几个月下来的数据超过千万了，表数据量一多就致使查询和插入变慢，而一开始就对帐户明细作分表处理就难于保证强一致性事务，经过otter能够将记录同步导历史表，而且进行分表处理，用户往年的交易记录就能够查询历史表了，而原交易明细表就能够删除一个月甚至几天前的数据；sql

实际测试中，otter的同步速度相比于mysql的复制，约有5倍左右的性能提高，这取决于其同步算法的实现. 抛弃了强一致性，获得了性能提高。数据库

2、官方安装文档浏览器

https://github.com/alibaba/otter/wiki/Manager_Quickstart

https://github.com/alibaba/otter/wiki/Node_Quickstart

演示视频：http://video.tudou.com/v/XMTc4NjU1MjM4NA==.html

3、总体架构

原理描述：

基于Canal开源产品，获取数据库增量日志数据。

典型管理系统架构，manager(web管理)+node(工做节点)

a. manager运行时推送同步配置到node节点

b. node节点将同步状态反馈到manager上

基于zookeeper，解决分布式状态调度的，容许多node节点之间协同工做.

名词解释：

Channel：同步通道，单向同步中一个Pipeline组成，在双向同步中有两个Pipeline组成；Pipeline：从源端到目标端的整个过程描述，主要由一些同步映射过程组成；

DataMediaPair：根据业务表定义映射关系，好比源表和目标表，字段映射，字段组等；

DataMedia: 抽象的数据介质概念，能够理解为数据表/mq队列定义；

DataMediaSource: 抽象的数据介质源信息，补充描述DateMedia；

ColumnPair: 定义字段映射关系；

ColumnGroup: 定义字段映射组；

Node: 处理同步过程的工做节点，对应一个jvm；

4、环境准备

1. otter manager依赖于mysql进行配置信息的存储，因此须要预先安装mysql，并初始化otter manager的系统表结构

a. 安装mysql

b. 初始化otter manager系统表：https://raw.github.com/alibaba/otter/master/manager/deployer/src/main/resources/sql/otter-manager-schema.sql

2. 整个otter架构依赖了zookeeper进行多节点调度，因此须要预先安装zookeeper，不须要初始化节点，otter程序启动后会自检.

manager须要在otter.properties中配置zookeeper集群机器

3. 安装jdk1.6+

5、下载安装

下载页面：https://github.com/alibaba/otter/releases/

下载manager：wget https://github.com/alibaba/otter/releases/download/v4.2.14/manager.deployer-4.2.14.tar.gz

建立manager目录： mkdir ~/manager

tar zxvf manager.deployer-4.2.14.tar.gz -C ~/manager

下载node： wget https://github.com/alibaba/otter/releases/download/v4.2.14/node.deployer-4.2.14.tar.gz

建立node目录： mkdir ~ /node

tar zxvf node.deployer-4.2.14.tar.gz -C ~ /node

6、修改配置文件运行

（1） Manager

1) otter.properties配置修改 vi ~/manager/conf/otter.properties

##修改成正确访问ip，生成URL使用，node的配置须要用到

otter.domainName= 127.0.0.1

##manage页面的访问端口

otter.port =8080

##修改成正确数据库信息

otter.database.driver.class.name = com.mysql.jdbc.Driver

otter.database.driver.url = jdbc:mysql://127.0.01:3306/ottermanager

otter.database.driver.username = root

otter.database.driver.password = hello

##为node链接manager的端口， node的配置须要用到

otter.communication.manager.port= 1099

##配置zookeeper集群机器

otter.zookeeper.cluster.default= 127.0.0.1:2181

其它使用默认配置便可

2) Manager启动

Linux ： sh ~/manager/bin/startup.sh

Windows：startup.bat

查看日志： vi ~/manager/logs/manager.log

启动成功后浏览器访问http://127.0.0.1:8080，出现otter的页面

访问：http://127.0.0.1:8080/login.htm，初始密码为：admin/admin，便可完成登陆. 目前：匿名用户只有只读查看的权限，登陆为管理员才能够有操做权限

3) 关闭manager

sh ~/manager/bin/stop.sh

（2）Node

node会受ottermanager进行管理，因此须要预先安装otter manager，完成manager安装后，须要在manager页面为node定义配置信息，并生一个惟一id。

1) 添加zookeeper

首先确保你的zookeeper已启动成功。

otter依赖zookeeper，访问manager页面的机器管理页面，选择菜单进入“机器管理→zookeeper管理”页面:

点击添加进入“添加Zookeeper集群”页面

2) 添加node

Zookeeper添加成功后，进入“机器管理→Node管理”页面：

点击添加进入添加机器页面

机器名称：能够随意定义，方便本身记忆便可
机器ip：对应node节点将要部署的机器ip，若是有多ip时，可选择其中一个ip进行暴露. (此ip是整个集群通信的入口，实际状况千万别使用127.0.0.1，不然多个机器的node节点会没法识别)
机器端口：对应node节点将要部署时启动的数据通信端口，建议值：2088
下载端口：对应node节点将要部署时启动的数据下载端口，建议值：9090
外部ip ：对应node节点将要部署的机器ip，存在的一个外部ip，容许通信的时候走公网处理。
zookeeper集群：为提高通信效率，不一样机房的机器可选择就近的zookeeper集群.
node这种设计，是为解决单机部署多实例而设计的，容许单机多node指定不一样的端口

3) 配置nid

机器添加完成后，跳转到机器列表页面，获取对应的机器序号nid：