【MYSQL】大表与大事务带来的问题

前言

相对来讲，什么状况下的数据库表可以称为“大表”呢？

• 当一个表的数据超过千万行的时候，就会对数据库形成影响
• 当表数据文件巨大，表数据文件超过10G（数据值相对硬件而言）

大表的影响

大表对查询的影响

慢查询：很难在必定的时间内过滤出所须要的数据
（Eg：显示订单、来源少、区分度底、大量磁盘IO、下降磁盘效率、慢查询）

大表对DDL操做的影响

一、创建索引须要很长时间

风险：

MYSQL版本 < 5.5 创建索引会锁表
MYSQL版本 >= 5.5 虽然不会锁表但会引发主从延迟

二、修改表结构须要长时间锁表

风险：

会形成长时间的主从延迟
影响正常的数据操做

如何处理数据库中的大表

一、分库分表把一张大表分红多个小表

难点：

分表主键的选择
分表后跨分区数据的查询和统计

二、大表的历史数据归档

优势：

减小对先后端业务的影响

难点：

归档时间点的选择
如何进行归档的操做

什么是事务？

• 事务是数据库系统区别于其余一切文件系统的重要特性之一
• 事务是一组具备原子性的SQL语句，或是一个独立的工做单元

事务要求符合：原子性、一致性、隔离性、持久性

事务的原子性

一个事务必须被视为不可分离的最小工做单位，整个事务中的全部操做要么所有提交成功，要么所有失败，对于一个事务来讲，不可能只执行其中的一部分操做。

Eg：
一、检查理财帐户中的余额是否高于2000元
二、从理财帐户的余额中减去2000元
三、在活动存款帐户上增长2000元

整个事务中的全部操做要么所有提交成功，要么所有失败回滚。

事务的一致性

一致性是指事务将数据库从一种一致性状态转换到另一种一致性状态，在事务开始以前和事务结束后数据库中数据的完整性没有被破坏。

事务的隔离性

隔离性要求一个事务对数据库中数据的修改，在未提交完成以前对于其余事务是不可见的。

SQL标准中定义的四种各种级别（隔离性由低到高）（并发性由高到低）

未提交读（READ UNCOMMITED）
已提交读（READ COMMITED）
可重复读（REPEATABLE READ）
可串行化（SERIALIZABLE）

事务的持久性

一旦事务提交，则其所作的修改就会永远保存到数据库中，此时即便系统崩溃，已经提交的修改数据也不会丢失。

什么是大事务？

运行的时间比较长，操做的数据比较多的事务

风险：

锁定太多的数据，形成大量的阻塞和锁超时
回滚所须要的时间比较长
执行时间长，容易形成主从延迟

如何处理大事务？

• 避免一次处理太多的数据
• 移出没必要要在事务中的SELECT操做

---

若是本文对你有所帮助，欢迎关注我的公众号，谢谢。