ubuntu14.04 LTS下Atlas2.2安装说明

准备工做

本文档是在ubuntu14.04下安装2.2版本的atlas。

官方文档很重要，请熟读。

wiki地址：https://github.com/Qihoo360/Atlas/wiki

QQ 群：326544838(能够加此群进行咨询)

1.所用软件：

Ubuntu14.04 LTS版

2.使用服务器地址：192.168.1.244

3.ubuntu14.04对应的安装文件选择Atlas-2.2-debian7.0-x86_64.deb

4.主库为192.168.1.160，从库为192.168.1.116,192.168.1.149,192.168.236

2 Atlas的总体架构

Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增长了一些新的功能特性。360内部使用Atlas运行的mysql业务，天天承载的读写请求数达几十亿条。

 

Atlas是一个位于应用程序与MySQL之间中间件。在后端DB看来，Atlas至关于链接它的客户端，在前端应用看来，Atlas至关于一个DB。Atlas做为服务端与应用程序通信，它实现了MySQL的客户端和服务端协议，同时做为客户端与MySQL通信。它对应用程序屏蔽了DB的细节，同时为了下降MySQL负担，它还维护了链接池。Atlas的总体架构，可参考下面这两幅图：

3 Atlas的功能介绍

3.1 Atlas究竟是个啥玩意？

数据库须要读写分离，一个数据库写数据，多个数据库读库。程序链接数据库的时候，若是没有一个代理，那只能写程序去控制往哪一个库写入，而后读哪一个库的数据，这种场景下有了mysql-proxy，能够看看相关介绍它的文档。

Atlas是mysql-proxy的升级版，就是起到一个代理功能，在应用层和持久层加了一层，安装配置完atlas，atlas会暴露给应用层ip、端口、数据库名、帐号、密码，应用层就能够链接数据库了。

数据库的jdbc链接地址（跟数据库链接同样）如：

String url = "jdbc:mysql://192.168.1.244:1234/altas_test?useUnicode=true&characterEncoding=utf-8&autoReconnect=true"; // JDBC的URL

Connection conn = DriverManager.getConnection(url, "root", "root");

说明：

192.168.1.244 是安装atlas的机器ip

1234 是atlas的接口，供应用层使用

Altas_test是主从库的的实例名

Root/root 是主从库的帐号和密码，主从库的帐号和密码必须一致

3.2 Atlas是否支持多字符集？

对多字符集的支持是咱们对原版MySQL-Proxy的第一项改进，符合国情是必须的。而且支持客户端在链接时指定默认字符集。

3.3 Atlas是否支持事务操做？

支持，且处于事务状态的客户端中途退出时，Atlas会销毁该客户端使用的链接，让后台的mysql回滚事务，保证了事务的完整性。

3.4 自动读写分离挺好，但有时候我写完立刻就想读，万一主从同步延迟怎么办?

SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。

3.5 主库宕机，读操做受影响么？

在Atlas中读操做不受影响，Atlas会将读请求转发到其余还存活的从库上。但此时写请求将会失败，由于主库宕机了。

3.6 检测后端DB状态会阻塞正常请求么？

不会, atlas中检测线程是异步进行检测的，即便有db宕机，也不会阻塞主流程。在Atlas中没有什么异常会让主流程阻塞。

3.7 想下线一台DB, 又不想停掉mysql server, 怎么办？

能够经过管理接口手动上下线后端db, Atlas会优先考虑管理员的意愿。

3.8 想给集群中增长一台DB, 不想影响线上正常访问能够吗？

经过管理接口能够轻松实现。

3.9 相比官方mysql-proxy, Atlas还有哪些改进？

A: 这实在是个难以回答的问题，性能，稳定性，可靠性，易维护性，咱们作过几十项的改进，下面会尽可能列一些较大的改动

3.10 Atlas支持mysql的prepare特性吗？

目前Atlas部分支持prepare功能，支持java,python,PHP(PDO方式）。

3.11 Altas支持多个主库的运行模式吗？

目前还未对于Atlas后面挂接多个主库的情形进行测试过，不建议这样使用。建议使用一主一从或一主多从的模式。

3.12 在使用Atlas的过程当中，发现了Atlas存在的bug或者对Atlas有新的功能需求，如何反馈给开发者？

对于用户反馈的bug，咱们很是重视。欢迎用户将bug的复现的环境、步骤和运行截图发邮件至zhuchao[AT]360.cn。同时若是用户在实际的应用场景中，对Atlas有新的功能需求，也能够向咱们发邮件，咱们将及时回复。另外有热心网友建了QQ群326544838，开发者也已经加入，方便讨论。

3.13 java程序链接Atlas出现乱码问题

把jdbc链接中的amp;删除掉，例如：将

jdbc:mysql://10.10.10.37:3306/user_db?useUnicode=true&characterEncoding=utf-8&autoReconnect=true
修改成：

jdbc:mysql://10.10.10.37:3306/user_db?useUnicode=true&characterEncoding=utf-8&autoReconnect=true

3.14 监控主从同步之间的延迟?

Atlas不负责MySQL的主从同步操做，须要DBA本身管理。但热心的网友已经经过脚本实现了经过调用Atlas提供的接口，来监控主从之间的同步，并作上下线从库的操做。有须要的同窗参看：

https://github.com/chenzhe07/Atlas_auto_setline

3.15 java程序链接Atlas发现不能读写分离，全部的请求都发向主库，这是为何？

检查一下java框架，是否是默认将autocommit设置为0了，不少java框架将语句都封装在一个事务中，而Atlas会将事务请求都发向主库。

3.16 Atlas有sql语句黑名单过滤机制吗？

有的，Atlas会屏蔽不带where条件的delete和update操做，以及sleep函数。

4 安装atlas

去github下载安装包，下载页地址：https://github.com/Qihoo360/Atlas/releases

下载Atlas-2.2-debian7.0-x86_64.deb文件(一开始安装的是Atlas-2.2-debian6.0-x86_64.deb文件，老是错误百出，安装7.0很是顺利，这是经过atlas群里边问的。)上传到/var/tmp路径下，执行以下命令：

cp /var/tmp/Atlas-2.2-debian7.0-x86_64.deb /home/atlas/

dpkg -i  Atlas-2.2-debian7.0-x86_64.deb 

 

 

5 配置atlas

安装完毕后，须要配置/usr/local/mysql-proxy/conf下的test.cnf,执行命令以下：

Vi /usr/local/mysql-proxy/conf/test.cnf

 

注：红色部分是须要修改的地方

#管理接口的用户名

admin-username = user

 

#管理接口的密码

admin-password = pwd

 

#实现管理接口的Lua脚本所在路径

admin-lua-script = /usr/local/mysql-proxy/lib/mysql-proxy/lua/admin.lua

 

#Atlas后端链接的MySQL主库的IP和端口，可设置多项，用逗号分隔

proxy-backend-addresses =192.168.1.160:3306

 

#Atlas后端链接的MySQL从库的IP和端口，@后面的数字表明权重，用来做负载均衡，若省略则默认为1，可设置多项，用逗号分隔

proxy-read-only-backend-addresses = 192.168.1.116:3306@1 ,192.168.1.149:3306@1 ,192.168.1.236:3306@2

 

#设置Atlas的运行方式，设为true时为守护进程方式，设为false时为前台方式，通常开发调试时设为false，线上运行时设为true

daemon = true

 

#设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor，一个为worker，monitor在worker意外退出后会自动将其重启，设为false时只有worker>，没有monitor，通常开发调试时设为false，线上运行时设为true

keepalive = true

 

#工做线程数，推荐设置与系统的CPU核数相等

event-threads = 4

 

#日志级别，分为message、warning、critical、error、debug五个级别

log-level = message

 

#日志存放的路径

log-path = /usr/local/mysql-proxy/log

 

#实例名称，用于同一台机器上多个Atlas实例间的区分

instance = test

#Atlas监听的工做接口IP和端口

proxy-address = 0.0.0.0:1234

 

#Atlas监听的管理接口IP和端口

admin-address = 0.0.0.0:2345

 

#链接池的最小空闲链接数，应设为event-threads的整数倍，可根据业务请求量大小适当调大或调小

min-idle-connections = 8

 

#分表设置，此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔，若不分表则不须要设置该项

#tables = person.mt.id.3

 

#用户名与其对应的加密过的MySQL密码，密码使用PREFIX/bin目录下的加密程序encrypt加密，此设置项用于多个用户名同时访问同一个Atlas实例的状况，若只有一>个用户名则不须要设置该项

# For example, the username is: myuser, and the password is:mypwd (encrypted ciphertext is:HJBoxfRsjeI=). 

 

#pwds = root:+jKsgB3YAG8=, root:GS+tr4TPgqc=

pwds = root:DAJnl8cVzy8=

#默认字符集，若不设置该项，则默认字符集为latin1

charset = utf8

 

#容许链接Atlas的客户端的IP，能够是精确IP，也能够是IP段，以逗号分隔，若不设置该项则容许全部IP链接，不然只容许列表中的IP链接

#client-ips = 127.0.0.1, 192.168.1

 

#Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP)，如有LVS且设置了client-ips则此项必须设置，不然能够不设置

#lvs-ips = 192.168.1.1

6 启动atlas

配置完毕后，执行以下命令：

/usr/local/mysql-proxy/bin/mysql-proxyd test start

 

 

看到如上信息，说明安装成功了，恭喜发财!

启动成功后，在atlas安装机器上测试与出从库的连通状况；

1.验证与主库的连通

 

看到上边图说明atlas与主库连通成功

与其余从库的连通用一样的方式，这里不一一列举。

7 管理

 执行以下命令：

 mysql -h127.0.0.1 -uuser -ppwd -P2345;

进入管理:

 

命令给的很是清楚了，不一一说了。

8 客户端链接测试

本实验使用的是jdbc，可使用数据库链接池进行链接。

创建一个maven工程，添加mysql驱动依赖：

<dependency>

<groupId>mysql</groupId>

<artifactId>mysql-connector-java</artifactId>

<version>5.1.35</version>

</dependency>

测试类：

package com.heli.altas;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.List;
import java.util.UUID;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

public class DbUtil {

	class User {
		private int id;
		private String name;
		private String address;

		public String getAddress() {
			return address;
		}

		public void setAddress(String address) {
			this.address = address;
		}

		public int getId() {
			return id;
		}

		public void setId(int id) {
			this.id = id;
		}

		public String getName() {
			return name;
		}

		public void setName(String name) {
			this.name = name;
		}
	}

	class News {
		private int id;

		public int getId() {
			return id;
		}

		public void setId(int id) {
			this.id = id;
		}

		public int getUserId() {
			return userId;
		}

		public void setUserId(int userId) {
			this.userId = userId;
		}

		public String getTitle() {
			return title;
		}

		public void setTitle(String title) {
			this.title = title;
		}

		public String getContent() {
			return content;
		}

		public void setContent(String content) {
			this.content = content;
		}

		private int userId;
		private String title;
		private String content;

	}

	/**
	 * @Description: 写用户表
	 * @param
	 * @return void 返回类型
	 * @throws
	 */
	public static void insertUsers(List<User> users) {
		try {
			Connection conn = connection();
			conn.setAutoCommit(false);
			// 插入数据的代码
			String sql2 = "insert into user(name,address) values(?,?)";
			PreparedStatement pst = conn.prepareStatement(sql2);

			for (User user : users) {
				pst.setString(1, user.getName());
				pst.setString(2, user.getAddress());
				pst.addBatch();
			}
			// 执行批量更新
			pst.executeBatch();
			// 语句执行完毕，提交本事务
			conn.commit();
			pst.close();
			conn.close();
		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	/**
	 * @Description: 写新闻表测试
	 * @param
	 * @return void 返回类型
	 * @throws
	 */
	public static void insertNews(List<News> newss) {
		try {
			Connection conn = connection();
			conn.setAutoCommit(false);
			// 插入数据的代码
			String sql = "insert into news(user_id,title,content) values(?,?,?)";
			PreparedStatement pst = conn.prepareStatement(sql);

			for (News news : newss) {
				pst.setInt(1, news.getUserId());
				pst.setString(2, news.getTitle());
				pst.setString(3, news.getContent());
				pst.addBatch();
			}
			// 执行批量更新
			pst.executeBatch();
			// 语句执行完毕，提交本事务
			conn.commit();
			pst.close();
			conn.close();
		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	/**
	 * @Description:
	 * @param
	 * @return Connection 返回类型
	 * @throws
	 */
	private static Connection connection() throws ClassNotFoundException, SQLException {
		// 调用Class.forName()方法加载驱动程序
		Class.forName("com.mysql.jdbc.Driver");
		String url = "jdbc:mysql://192.168.1.244:1234/altas_test?useUnicode=true&characterEncoding=utf-8&autoReconnect=true"; // JDBC的URL
		Connection conn = DriverManager.getConnection(url, "root", "root");
		return conn;
	}

	public static void testBatchInsert(int threadNum, List<User> users, List<News> newss) throws Exception {
		// 建立一个可重用固定线程数的线程池
		ExecutorService pool = Executors.newFixedThreadPool(threadNum);
		// 建立实现了Runnable接口对象，Thread对象固然也实现了Runnable接口
		long start = System.currentTimeMillis();
		DbUtil dbUtil = new DbUtil();
		for (int i = 0; i < threadNum; i++) {
			// 将线程放入池中进行执行
			pool.execute(dbUtil.new MyThread(users, newss));
		}
		// 关闭线程池
		pool.shutdown();
		while (true) {
			if (pool.isTerminated()) {
				System.out.println("所有线程跑完了！");
				break;
			}
			Thread.sleep(200);
		}
		// 关闭线程池
		pool.shutdown();
		long end = System.currentTimeMillis();
		System.out.println("耗时" + (end - start) / 1000);
	}

	class MyThread extends Thread {
		List<User> users = new ArrayList<User>();
		List<News> newss = new ArrayList<News>();

		public MyThread(List<User> users, List<News> newss) {
			super();
			this.users = users;
			this.newss = newss;
		}

		@Override
		public void run() {
			// System.out.println(Thread.currentThread().getName() + "正在执行。");
			try {
				long start = System.currentTimeMillis();
				insertUsers(users);
				insertNews(newss);
				long end = System.currentTimeMillis();
				System.out.println(Thread.currentThread() + "耗时" + (end - start) / 1000);
				// Thread.sleep(0);
			} catch (Exception e) {
				e.printStackTrace();
			}

		}
	}

	/**
	 * 测试读
	 */
	public static void testQuery() {
		try {
			Connection conn = connection();
			String sql = "select u.name name ,n.title title ,n.content content from user u left join news n on u.id = n.user_id where u.id=?";
			PreparedStatement pst = conn.prepareStatement(sql);
			pst.setInt(1,1);
			ResultSet rs = pst.executeQuery();
			while (rs.next()) {
				String name = rs.getString("name");
				String title = rs.getString("title");
				String content = rs.getString("content");
				System.out.println(name + "====" + title + "====" + content);
			}
			rs.close();
			pst.close();
			conn.close();
		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	public static void main(String[] args) throws Exception {
		// 初始化数据
		List<User> users = new ArrayList<User>();
		for (int i = 0; i < 0; i++) {
			User user = new DbUtil().new User();
			user.setName(UUID.randomUUID().toString().substring(0, 4));
			user.setAddress("北京10里店嘎啦胡同犄角户");
			users.add(user);
		}

		List<News> newss = new ArrayList<News>();
		for (int i = 0; i < 0; i++) {
			News news = new DbUtil().new News();
			news.setUserId(i);
			news.setTitle("自动读写分离挺好，但有时候我写完立刻就想读，万一主从同步延迟怎么办?");
			news.setContent("SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增长 /*master*/ 就能够将读请求强制发往主库。在mysql命令行测试该功能时，须要加-c选项，以防mysql客户端过滤掉注释信息。");
			newss.add(news);
		}

		// 单线程测试开始
		// insert(users);
		// 单线程测试结束

		// 多线程测试开始
		//testBatchInsert(100, users, newss);
		//多线程测试结束
		
		//测试读
		testQuery();

	}
}

8.1 重要说明

String url = "jdbc:mysql://192.168.1.244:1234/atlas_test"; 

// JDBC的URL,192.168.1.244为atlas的ip，端口是1234，atlas_test是主（写）库的实例名

Connection conn = DriverManager.getConnection(url, "root", "root");

//root/root是各个主从库的帐号密码

9 经常使用命令

进入/usr/local/mysql-proxy/bin目录，执行下面的命令启动、重启或中止Atlas。

9.1 启动

sudo ./mysql-proxyd test start或/usr/local/mysql-proxy/bin/mysql-proxyd test start

9.2 重启

sudo ./mysql-proxyd test restart

9.3 中止

sudo ./mysql-proxyd test stop

9.4 查看状态

可使用ps -ef | grep mysql-proxy查看Atlas是否已经启动或中止

9.5 密码加密

进入 /usr/loca/mysql-proxy/bin/encrypt. 路径执行：

 

9.6 查看日志

tail /usr/local/mysql-proxy/log/test.log 

 

注意：

(1). 运行文件是：mysql-proxyd(不是mysql-proxy)。

(2). test是conf目录下配置文件的名字，也是配置文件里instance项的名字，三者须要统一。

执行命令：mysql -h127.0.0.1 -P1234 -u用户名 -p密码，若是能连上则证实Atlas初步测试正常，能够再尝试发几条SQL语句看看执行结果是否正确。

进入Atlas的管理界面的命令：mysql -h127.0.0.1 -P2345 -uuser -ppwd，进入后执行:select * from help;查看管理DB的各种命令。

10 安装错误解决

启动错误：

/usr/local/mysql-proxy/bin/mysql-proxy: error while loading shared libraries: libcrypto.so.6: cannot open shared object file: No such file or directory

解决办法：

换安装版本：

dpkg -i  Atlas-2.2-debian7.0-x86_64.deb 

 

启动错误：

loading module '/usr/local/mysql-proxy/lib/mysql-proxy/plugins/libproxy.so' failed: libmysqlclient.so.16: cannot open shared object file: Too many levels of symbolic links

解决办法：

安装依赖：

apt-get install mysql-client-5.6