360 Atlas生产环境使用心得

1、Atlas介绍

Atlas是360开源的一个Mysql Proxy，如下是官方介绍：

Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了不少功能特性。目前该项目在360公司内部获得了普遍应用，不少MySQL业务已经接入了Atlas平台，天天承载的读写请求数达几十亿条。同时，有超过50家公司在生产环境中部署了Atlas，超过800人已加入了咱们的开发者交流群，而且这些数字还在不断增长。

https://github.com/Qihoo360/A..._ZH.md

如下是其github代码库：https://github.com/Qihoo360/A...

主要功能：

1.读写分离

2.从库负载均衡

3.IP过滤

4.自动分表

5.DBA可平滑上下线DB

6.自动摘除宕机的DB

“自动分表”须要打引号，对于新表是没问题的；

若是是一张有历史数据的表须要拆分，Atlas是不会帮咱们拆分的，就须要本身写工具迁移。

2、安装

一、从官网下载相应版本，咱们选择的是2.2.1；

https://github.com/Qihoo360/A...

分表的方式有2种，1是单机分表，另1种是支持跨机器分表，能够根据状况选择，咱们选择的是单机分表的，即一张总表拆成多张子表，子表和总表都在一个Mysql实例上。

二、安装

由于是rpm安装，直接用rpm命令安装就能够了：

rpm -i Atlas-2.2.1.el6.x86_64.rpm 

默认安装目录为 /usr/local/mysql-proxy。

启动命令

 /usr/local/mysql-proxy/bin/mysql-proxyd test start

test表示哪一个实例

配置文件在 usr/local/mysql-proxy/conf下，每一个配置文件表示一个实例；

三、配置说明

如下是经常使用的配置项：

配置项	说明
admin-username	后台管理员帐号
admin-password	后台管理员密码
proxy-backend-addresses	Mysql实例，多项以,(逗号)分隔
pwds	密码，必须和Mysql实例的密码同样，用安装目录 bin目录下的加密程序encrypt加密
event-threads	工做线程数，对性能影响大
sql-log	SQL日志的开关，可设置为OFF、ON、REALTIME，OFF表明不记录SQL日志，ON表明记录SQL日志，REALTIME表明记录SQL日志且实时写入磁盘
proxy-address	Atlas监听的工做接口IP和端口
tables	tables

关键参数：

proxy-backend-addresses：后端Mysql实例地址

tables：分表参数，格式：

数据库名.表名.分表字段.子表数量

举1个栗子，假如咱们在作社区，社区主要功能是发帖和回帖，那主要是2张表（只是为了演示，不会把真实实际场景全部字段加上）：

帖子表(posts)

字段名	类型	说明
tid	int	帖子id
title	varchar(200)	帖子标题
content	text	帖子内容

回复表(replies)

字段名	类型	说明
pid	int	回复id
tid	int	帖子id
uid	int	用户id
content	text	回复内容
create_time	datetime	插入时间

假设这些表都在数据库forums中，

若是咱们要对replies进行分表，则tables这样设置

forums.replies.tid.64

上面表示对replies进行分表，分表字段为tid，即全部tid相同的回复会在同一张表，总共分64张表。

3、踩过的坑

一、Atlas不支持压缩选项，如下链接是不行的

mysql_connect($dbhost, $dbuser, $dbpw, 1, MYSQL_CLIENT_COMPRESS);

    正确的写法

mysql_connect($dbhost, $dbuser, $dbpw, 1);

2. Count语句问题

分表后，count返回的结果会是针对多个表查询的多个值（count结果为0的不返回），具体示例以下（当前分表为4张）：

3.  分表后，若是删掉主表，则不带分表字段的查询会报错（以下图）；若是保留主表，则查询的是主表数据。

4. 分页问题

以上面举例的场景来讲，若是要从回复表查询uid为123，而且tid为100-200之间的记录的第2页（Discuz里就是这样查用户的回复的），每页显示10条，按时间倒序，就有可能返回为空了；

为何这样呢，设想这样一个场景，用户一共有40条回复，假设分布在4张表中，而且分布很均匀，每张表10条记录，由于从每张子表取偏移10-20的记录，子表返回为空了，实际是用户是有数据的，正确的作法是从每张表取出前20条记录，再合并而后进行分页。

关于这个问题，我已经在另外一篇文章详细说明了，Mysql中间件360 Atlas踩坑

4、总结

一、若是你是新表，而且预见之后数据很大，能够用上Atlas来解决数据量的问题；

二、旧表的话，你还得本身写脚本导数据，核对数据；

三、若是有些分页查询的话，还须要本身重写；

四、肯定你的全部场景的查询是否都有分表字段做为where，没有的话，须要本身再写工具将子表的数据同步到总表；

能够看到Atlas若是须要产品化还要作不少的事情，若是肯定上面都不是问题，就大胆的用吧~

往期精彩文章：

FastDFS不一样步怎么破

Dubbo2.7试用

redis-port支持前缀迁移

扩展Redis：增长Redis命令