【MySQL大系】《Mysql集群架构》

原文地址(微信)：【技术文章】《Mysql集群架构》

本文地址：http://www.cnblogs.com/aiweixiao/p/7258444.html

点击关注微信公众号

 

1.主要内容

 

   1）mysql的架构，锁，最佳实践，事务

   2）mysql的命令行，主从复制，索引，数据备份/恢复

   3）mysql的集群，mysql的负载均衡，监控，mysql proxy

   4)  mysql的MMM架构，mysql 的源码，DBA

MySQL-从删除到跑路

 

2.具体内容

   2.1）【架构】：

---

   【架构图】：

MySQL-MySQL的架构图

 

【概述】：Mysql是由SQL接口，解析器，优化器，缓存，存储引擎组成的

2.2）【锁】：

---

  【概念】：为了保证数据的一致完整性，任何一个数据库都存在锁定机制。锁定机制的优劣直接应想到一个数据库系统的并发处理能力和性能，因此锁定机制的实现也就成为了各类数据库的核心技术之一。

  【分类】：MySQL各存储引擎使用了三种类型（级别）的锁定机制：行级锁定，页级锁定和表级锁定

    1）行级锁定：锁定对象的颗粒度很小，消耗最大，行级锁定也最容易发生死锁，可是并发好

    2）表级锁定：死锁状况少，可是并发很差，

    3）页级锁定：介于前二者之间。

   【代码】：

1）锁定 LOCK TABLES tbl_name [AS alias]

2）解锁  UNLOCK TABLES

 

2.3)【最佳实践】：

---

   【为查询缓存优化你的查询】：

    【mysql强制索引和禁止某个索引】：

    1） mysql强制使用索引:force index(索引名或者主键PRI)：select * from table force index(PRI,ziduan1_index) limit 2;(强制使用索引”PRI和ziduan1_index”)

    2） mysql禁止某个索引：ignore index(索引名或者主键PRI)：select * from table ignore index(PRI,ziduan1_index) limit 2;(禁止使用索引”PRI,ziduan1_index”)

 

2.4）【事务】：

---

    【概念】：事务是指逻辑上的一组操做，组成这组操做的各个单元，要不全成功要不全失败。其特色是ACID(原子性，一致性，隔离性，持久性)

    【实现】：

1）事务开启：START TRANSACTION; 或者 BEGIN;

2）事务提交：COMMIT;

3）事务回滚：ROLLBACK;

 

2.5）【mysql 命令行】：

---

   【命令行执行mysql】:使用mysql的-e参数能够执行各类sql的(建立，删除，增，删，改、查)等各类操做

例如：#建立数据库

create_db_sql="create database IF NOT EXISTS ${DBNAME}”

mysql -h${HOSTNAME}  -P${PORT}  -u${USERNAME} -p${PASSWORD} -e "${create_db_sql}"

 

2.6）【主从复制】：

---

   【一主多从】：在一主多从的数据库体系中，多个从服务器采用异步的方式更新主数据库的变化，业务服务器在执行写或者相关修改数据库的操做是在主服务器上进行的，读操做则是在各从服务器上进行

MySQL-MySQL的主从复制

 

   【原理】 ：MySQL之间数据复制的基础是二进制日志文件（binary log file）。一台MySQL数据库一旦启用二进制日志后，其做为master，它的数据库中全部操做都会以“事件”的方式记录在二进制日志中，其余数据库做为slave经过一个I/O线程与主服务器保持通讯，并监控master的二进制日志文件的变化，若是发现master二进制日志文件发生变化，则会把变化复制到本身的中继日志中，而后slave的一个SQL线程会把相关的“事件”执行到本身的数据库中，以此实现从数据库和主数据库的一致性，也就实现了主从复制。

2.7）【索引】：

---

   【概述】：索引对查询的速度有着相当重要的影响，理解索引也是进行数据库性能调优的起点

   【种类】：普通索引，惟一索引，全文索引，单列/多列索引，组合索引(最左前缀)

   【B+树】：

 

MySQL-索引B+树结构

     1）详解B+树：浅蓝色的块咱们称之为一个磁盘块，能够看到每一个磁盘块包含几个数据项（深蓝色所示）和指针（黄色所示），如磁盘块1包含数据项17和35，包含指针P一、P二、P3，P1表示小于17的磁盘块，P2表示在17和35之间的磁盘块，P3表示大于35的磁盘块。真实的数据存在于叶子节点即三、五、九、十、1三、1五、2八、2九、3六、60、7五、7九、90、99。非叶子节点只不存储真实的数据，只存储指引搜索方向的数据项，如1七、35并不真实存在于数据表中。

    2）查找B+树：若是要查找数据项29，那么首先会把磁盘块1由磁盘加载到内存，此时发生一次IO，在内存中用二分查找肯定29在17和35之间，锁定磁盘块1的P2指针，内存时间由于很是短（相比磁盘的IO）能够忽略不计，经过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘加载到内存，发生第二次IO，29在26和30之间，锁定磁盘块3的P2指针，经过指针加载磁盘块8到内存，发生第三次IO，同时内存中作二分查找找到29，结束查询，总计三次IO。真实的状况是，3层的b+树能够表示上百万的数据，若是上百万的数据查找只须要三次IO，性能提升将是巨大的，若是没有索引，每一个数据项都要发生一次IO，那么总共须要百万次的IO，显然成本很是很是高。

 

2.8）【数据备份/恢复】：

---

   【数据备份】：

     1）使用mysqldump命令备份mysqldump -u username -p --databases dbname2 dbname2 > Backup.sql

     2）直接复制整个数据库目录 ： 须要中止服务，不支持InnoDB引擎

     3）热备份：使用mysqlhotcopy工具快速备份，不用中止服务。 mysqlhotcopy [option] dbname1 dbname2 backupDir/

 

 【数据还原】：

    1）还原使用mysqldump命令备份的数据库： mysql -u root -p < C:\backup.sql

    2）还原直接复制目录的备份： 必须保证两个MySQL数据库的版本号是相同的。MyISAM类型的表有效，对于InnoDB类型的表不可用

 

2.9）【mysql的集群】：

---

     【概念】：MySQL 集群(MySQL Cluster )是mysql适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎，容许在1个 Cluster 中运行多个MySQL服务器。在MyQL 5.0及以上的二进制版本中、以及与最新的Linux版本兼容的RPM中提供了该存储引擎。

MySQL-MySQL集群架构图

 

      【分类】：分为同步集群和异步集群。

1）同步集群：（mysql cluster）

      结构：（data + sql + mgm节点）

      特色：

        1. 1) 内存级别的，对硬件要求较低，可是对内存要求较大。换算比例为：1：1.1；

        1.2) 数据同时放在几台服务器上，冗余较好；

        1.3) 速度通常；

        1.4) 建表须要声明为engine=ndbcluster

        1.5) 扩展性强；

        1.6) 能够实现高可用性和负载均衡，实现对大型应用的支持；

        1.7) 必须是特定的mysql版本，如：已经编译好的max版本；

        1.8) 配置和管理方便，不会丢失数据

 

2)异步集群（mysql replication）

   结构：（master + slave）

   特色：

      2.1) 主从数据库异步数据；

      2.2) 数据放在几台服务器上，冗余通常；

      2.3) 速度较快；

      2.4) 扩展性差；

      2.5) 没法实现高可用性和负载均衡（只能在程序级别实现读写分离，减轻对主数据库的压力）；

      2.6) 配置和管理较差，可能会丢失数据

 

2.10）【mysql的负载均衡】：

---

   【定义】： 经过director，将用户的请求分发到real server服务器上，而后返回给用户。负载均衡部署灵活、可以知足各类需求。

 

MySQL-LVS+Keepalived实现mysql负载均衡

 

  【实现方式】：

     硬件：BIG/IP、Cisco、IBM（昂贵）

     软件：LVS（免费）

     LVS系统将用户的请求的数据包在数据层和网络层进行了封装和转发，由三种方式知足各类需求。

    1) DR：直接路由

    2) Tuning：tcp/ip隧道

    3) NAT：网络地址转换

 

2.11）【mysql的监控】：

---

     【监控内容】：监控数据库的平常会话状况。碎片、剩余表空间监控，及时了解表空间的扩展状况、以及剩余空间分布状况

     【代码实现】：https://github.com/wozhuzaisi/shell-work/blob/master/mysqlmonitor.sh 

 

2.12）【mysql proxy】：

---

    【定义】：MySQL Proxy是一个处于你的client端和MySQL server端之间的简单程序，它能够监测、分析或改变它们的通讯。它使用灵活，没有限制，常见的用途包括：负载平衡，故障、查询分析，查询过滤和修改等等

   【实现读写分离】：

   1）安装并配置mysql proxy.

   2）测试：主服务器mysql> grant all on *.* to'lin3615'@'192.168.179.142'identified by'123456’;

 

2.14）【mysql MMM架构】：

---

     【概述】：是一套支持双主故障切换和双主平常管理的脚本程序。因为MMM没法彻底的保证数据一致性，因此MMM适用于对数据的一致性要求不是很高，可是又想最大程度的保证业务可用性的场景。对于那些对数据的一致性要求很高的业务，很是不建议采用MMM这种高可用架构。

 

MySQL-MMM架构图

 

2.15）【mysql 源码】：

---

   【内容】：MySQL是由C++写的,入口函数main()直接调用了mysqld_main()。Server启动的代码都在这里,直到最后的 handle_connections_sockets()。

 

MySQL-MySQL的源码第一书

 

   【资料】：

下载pdf:《深刻MySQL源码》

官网手册: https://dev.mysql.com/doc/internals/en/

阅读源码：https://zhuanlan.zhihu.com/p/26118810

书籍：《深刻理解MySQL核心技术》

 

2.16）【DBA】：

---

【职责】：

 

MySQL-DBA思惟导图

 

   1）数据库安装；

   2）数据库配置和管理；

   3）权限设置和安全管理；

   4）监控和性能调节；

   5）备份和恢复；

   6）解决通常的问题；

 

MySQL-DBA的一天

MySQL-关注微信公众号