MySQL基础知识总结

1. MySQL基础

　　MySQL数据类型：
　　　　整数 TINYINT, SMALLINT, MEDIUMINT, INT, BIGINT　　属性：UNSIGNED　　长度：能够为整数类型指定宽度，例如：INT(11)，对大多数应用没有意义，不会限制值的合法范围，只会影响显示字符的个数(宽度)，不够则zerofill
　　　　实数 FLOAT, DOUBLE, DECIMAL(可存储比BIGINT还大的整数，能够存储精确的小数)
　　　　字符串 VARCHAR(存储可变长字符串，比定长类型更节省时间，使用1或2个额外字节记录字符串的长度，列长度小于255字节使用1个字节表示，不然2个；若是存储内容超出指定长度，会被截断), CHAR(定长，根据定义的字符串长度分配足够的空间；会根据须要采用空格进行填充以方便比较；适合存储很短的字符串，或者全部值都接近同一个长度；超出设定的长度会被截断；对于常常变动的数据，CHAR比VARCHAR更好，CHAR不容易产生碎片，对于很是短的列，CHAR比VARCHAR在存储空间上更有效率，只分配真正须要的空间，更长的列会消耗更多的内存), TEXT, BLOB(尽可能避免使用，查询会使用临时表，致使严重的性能开销)
　　　　枚举：有时可使用枚举代替经常使用的字符串类型，把不重复的集合存储成一个预约义的集合，很是紧凑，把列表值压缩到一个或两个字节，内部存储的是整数，尽可能避免使用数字做为ENUM枚举的常量，易混乱，排序是按照内部存储的整数进行排序，枚举表会使表大小大大减少
　　　　日期和时间：尽可能使用TIMESTAMP，比DATETIME空间效率高；用整数保存时间戳的格式一般不方便处理，若是须要存储微秒可使用bigint存储
　　　　列属性：auto_increment default not null zerofill

　　MySQL基础操做：
　　　　链接和关闭：mysql -u -p -h -P　　其它：\G \c \q \s \h \d

　　MySQL数据表引擎：
　　　　InnoDB表引擎：默认事务型引擎，最重要最普遍的存储引擎，性能很是优秀；数据存储在共享表空间，能够经过配置分开；对主键查询的性能高于其它类型的存储引擎；内部作了不少优化，从磁盘读取数据时自动在内存构建hash索引，插入数据时自动构建插入缓冲区；经过一些机制和工具支持真正的热备份；支持崩溃后的安全恢复；支持行级锁和外键 
　　　　MyISAM表引擎：5.1版本前，MyISAM是默认的存储引擎；拥有全文、索引、压缩空间函数；不支持事务和行级锁，不支持崩溃后的安全恢复；表存储在两个文件，MYD和MYI；设计简单，某些场景下性能很好；
　　　　其余表引擎：Archive Blackhole CSV Memory

　　MySQL锁机制：
　　　　表锁是平常开发当中常见的问题，当多个查询同一时刻进行数据修改时，就会产生并发控制的问题。共享锁和排他锁，就是读锁和写锁
　　　　读锁：共享的，不堵塞，多个用户能够同时读一个资源，互不干扰
　　　　写锁：排他的，会阻塞其它的写锁和读锁，这样能够只容许一我的进行写入，防止其余用户读取正在写入的资源
　　　　锁粒度：表锁，系统性能开销最小，会锁定整张表，MyISAM使用表锁；行锁，最大程度支持并发处理，可是也带来了最大的锁开销，InnoDB实现行级锁

　　MySQL事务处理：
　　　　提供事务处理的表引擎，InnoDB；服务器层无论理事务，由下层的引擎实现，因此同一个事务中，使用多种存储引擎不靠谱；在非事务的表上执行事务操做MySQL不会发出提醒，也不会报错

　　MySQL存储过程：
　　　　为之后的使用而保存的一条或多条MySQL语句的集合；存储过程就是有业务逻辑和流程的集合；能够在存储过程当中建立表，更新数据，删除等等；经过把处理封装在容易使用的单元中，简化复杂的操做，保证数据的一致性，简化对变更的管理

　　MySQL触发器：
　　　　提供给程序员和数据分析员来保证数据完整性的一种方法，是与表事件相关的特殊的存储过程；可经过数据库中的相关表实现级联更改；实时监控某张表中的某个字段的更改而须要作出相应的处理；某些业务编号的生成等；滥用会形成数据库及应用程序的维护困难

2. 建立高性能索引

　　MySQL索引的基础和类型
　　　　索引的基础：索引相似于书籍的目录，存储引擎使用相似的方式进行数据查询，先去索引当中找到对应的值，而后根据匹配的索引找到对应的数据行
　　　　索引对性能的影响：大大减小服务器须要扫描的数据量；帮助服务器避免排序和临时表，将随机I/O变顺序I/O；大大提升查询速度，下降写的速度、占用磁盘
　　　　索引的使用场景：对于很是小的表，大部分状况下全表扫描效率更高；中到大型表，索引很是有效；特大型的表，创建和使用索引的代价将随之增加，可使用分区技术来解决
　　　　索引的类型：都是实如今存储引擎层的
　　　　　　普通索引：最基本的索引，没有任何约束限制
　　　　　　惟一索引：与普通索引相似，可是具备惟一性约束
　　　　　　主键索引：特殊的惟一索引，不容许有空值；一个表只能有一个主键索引，能够有多个惟一索引；主键能够与外键构成参照完整性约束，防止数据不一致
　　　　　　组合索引：将多个列组合在一块儿建立索引，能够覆盖多个列
　　　　　　外键索引：只有InnoDB类型的表可使用，保证数据的一致性、完整性和实现级联操做
　　　　　　全文索引：MySQL自带的全文索引只能用于MyISAM，而且只能对英文进行全文检索

　　MySQL索引的建立原则
　　　　最适合索引的列是出如今WHERE子句中的列，或链接子句中的列而不是出如今SELECT后的列；索引列的基数越大，索引的效果越好；对字符串进行索引，应该制定一个前缀长度，能够节省大量的索引空间；根据状况建立复合索引，能够提升查询效率；避免建立过多索引，会额外占用磁盘空间，下降写操做效率；主键尽量选择较短的数据类型，能够有效减小索引的磁盘占用提升查询效率

　　MySQL索引的注意事项
　　　　复合索引遵循前缀原则；like查询，%不能在前，可使用全文索引；column is null可使用索引；若是MySQL估计使用索引比全表扫描更慢，会放弃使用索引；若是or前的条件中的列有索引，后面的没有，索引都不会被用到；列类型是字符串，查询时必定要给值加引号，不然索引失效

3. SQL语句编写

　　关联更新：UPDATE A,B SET A.c1 = B.c1,A.c2 = B.c2 WHERE A.id = B.id
　　　　UPDATE A INNER JOIN B ON A.id = B.id SET A.c1 = B.c1,A.c2 = B.c2 WHERE...... 

　　6种关联查询：交叉链接CROSS JOIN，
　　　　内链接INNER JOIN：SELECT * FROM A,B WHERE A.id=B.id 或者SELECT * FROM A INNER JOIN B ON A.id = B.id。多表中同时符合某种条件的数据记录的集合。分为等值链接，不等值链接，自链接：SELECT * FROM A T1 INNER JOIN A T2 ON T1.id=T2.pid

　　　　外链接LEFT/RIGHT JOIN：以左表为主，先查询出左表，按照ON后的关联条件匹配右表，没有匹配到的用NULL填充
　　　　联合查询UNION与UNION ALL：SELECT * FROM A UNION SELECT * FROM B UNION ......。就是把多个结果集集中在一块儿，UNION前的结果为基准，须要注意的是联合查询的列数要相等，相同的记录行会合并；若是使用UNION ALL则不会合并重复的记录行
　　　　全链接FULL JOIN：MySQL不支持全链接，可使用LEFT JOIN和RIGHT JOIN和UNION联合使用：SELECT * FROM A LEFT JION B ON A.id=B.id UNION SELECT * FROM A RIGHT JION B ON A.id=B.id
　　　　嵌套查询：用一条SQL语句的结果做为另一条SQL语句的条件，如SELECT * FROM A WHERE id IN (SELECT id FROM B)

4. 查询优化

　　查找分析查询速度慢的缘由
　　　　分析SQL查询慢的方法：
　　　　记录慢查询日志；分析查询日志，不要直接打开慢查询日志进行分析，这样比较浪费时间和精力，可使用pt-query-digest工具进行分析
　　　　使用show profile：set profiling=1;开启，服务器上执行的全部语句会检测消耗的时间，存到临时表中；show profiles；show profile for query 临时表ID
　　　　使用show status：会返回一些计数器，show global status查看服务器级别的全部计数；有时根据这些计数，能够猜想出哪些操做代价较高或者消耗时间多
　　　　使用show  processlist：观察是否有大量线程处于不正常的状态或者特征
　　　　使用explain\desc：分析单条SQL语句

　　优化查询过程当中的数据访问：访问数据太多致使查询性能降低；肯定应用程序是否在检索大量超过须要的数据，多是太多行或列；确认MySQL服务器是否在分析大量没必要要的数据行
　　　　避免使用以下SQL语句：查询不须要的记录，使用limit解决；多表关联返回所有列，指定A.id，A.name，B.age；老是取出所有列，SELECT * 会让优化器没法完成索引覆盖扫描的优化
　　　　重复查询相同的数据，能够缓存数据，下次直接读取缓存
　　　　是否在扫描额外的记录：使用explain进行分析，若是发现查询须要扫描大量的数据但只返回少数的行，能够经过以下技巧去优化：使用索引覆盖扫描，把全部用的列都放到索引中，这样存储引擎不须要回表获取对应行就能够返回结果；改变数据库和表的结构，修改数据表范式；重写SQL语句，让优化器能够以更优的方式执行查询

　　优化长难的查询语句：
　　　　一个复杂查询仍是多个简单查询：MySQL内部每秒能扫描内存中上百万行数据，相比之下，响应数据给客户端就要慢得多；使用尽量少的查询是好的，可是有时将一个大的查询分解为多个小的查询是颇有必要的
　　　　切分查询：将一个大的查询分为多个小的相同的查询；一次性删除1000w的数据要比一次删除1w，暂停一会的方案更加损耗服务器开销
　　　　分解关联查询：能够将一条关联语句分解成多条SQL来执行，让缓存的效率更高，执行单个查询能够减小锁的竞争，在应用层作关联能够更容易对数据库进行拆分，查询效率会有大幅提高，较少冗余记录的查询

　　优化特定类型的查询语句：
　　　　优化count()查询：count(*)中的*会忽略全部的列，直接统计全部列数，所以不要使用count(列名)；MyISAM中，没有任何WHERE条件的count(*)很是快，当有WHERE条件，MyISAM的count统计不必定比其余表引擎快；可使用explain查询近似值，用近似值替代count(*)；增长汇总表；使用缓存
　　　　优化关联查询：肯定ON或者USING子句的列上有索引；确保GROUP BY和ORDER BY中只有一个表中的列，这样MySQL才有可能使用索引
　　　　优化子查询：尽量使用关联查询来替代
　　　　优化GROUP BY和DISTINCT：这两种查询都可使用索引来优化，是最有效的优化方法；关联查询中，使用标识列进行分组的效率会更高；若是不须要ORDER BY，进行GROUP BY时使用ORDER BY NULL，MySQL不会再进行文件排序；WITH ROLLUP超级聚合，能够挪到应用程序处理
　　　　优化LIMIT分页：LIMIT偏移量大的时候，查询效率较低；能够记录上次查询的最大ID，下次查询时直接根据该ID来查询
　　　　优化UNION查询：UNION ALL的效率高于UNION

5. 高扩展和高可用

　　分区表的原理：
　　工做原理：对用户而言，分区表是一个独立的逻辑表，可是底层MySQL将其分红了多个物理子表，这对用户来讲是透明的，每个分区表都会使用一个独立的表文件；建立表时使用partition by子句定义每一个分区存放的数据，执行查询时，优化器会根据分区定义过滤那些没有咱们须要数据的分区，这样查询只须要查询所需数据在的分区便可；分区的主要目的是将数据按照一个较粗的粒度分在不一样的表中，这样能够将相关的数据存放在一块儿，并且若是想一次性删除整个分区的数据也很方便
　　使用场景：表很是大，没法所有存在内存，或者只在表的最后有热点数据，其余都是历史数据；分区表的数据更易维护，能够对独立的分区进行独立的操做；分区表的数据能够分布在不一样的机器上，从而高效使用资源；可使用分区表来避免某些特殊的瓶颈；能够备份和恢复独立的分区；
　　限制：一个表最多只能有1024个分区；5.1版本中，分区表表达式必须是整数，5.5可使用列分区；分区字段中若是有主键和惟一索引列，那么主键列和惟一列都必须包含进来；分区表中没法使用外键约束；须要对现有表的结构进行修改；全部分区都必须使用相同的存储引擎；分区函数中可使用的函数和表达式会有一些限制；某些存储引擎不支持分区；对于MyISAM的分区表，不能使用load index into cache；对于MyISAM表，使用分区表时须要打开更多的文件描述符

　　分库分表的原理：
　　工做原理：经过一些HASH算法或者工具实现将一张数据表垂直或者水平进行物理切分
　　适用场景：单表记录条数达到百万到千万级别时；解决表锁的问题；
　　分表方式：
　　　　水平分割：表很大，分割后能够下降在查询时须要读的数据和索引的页数，同时也下降了索引的层数，提升查询速度；使用场景：表中的数据自己就有独立性，例如表中分别记录各个地区的数据或者不一样时期的数据，特别是有些数据经常使用，有些不经常使用；须要把数据存放在多个介质上；缺点：给应用增长复杂度，一般查询时须要多个表名，查询全部数据都需UNION操做；在许多数据库应用中，这种复杂性会超过它带来的优势，查询时会增长读一个索引层的磁盘次数。
　　　　垂直分表：把主键和一些列放在一个表，而后把主键和另外的列放在另外一个表中；使用场景：若是一个表中某些列经常使用，而另一些列不经常使用；可使数据行变小，一个数据页能存储更多数据，查询时减小I/O次数；缺点：管理冗余列，查询全部数据须要JOIN操做
　　分表缺点：有些分表的策略基于应用层的逻辑算法，一旦逻辑算法改变，整个分表逻辑都会改变，扩展性较差；对于应用层来讲，逻辑算法无疑增长开发成本

　　MySql的复制原理及负载均衡
　　MySQL主从复制工做原理：在主库上把数据更改记录到二进制日志，从库将主库的日志复制到本身的中继日志，从库读取中继日志中的事件，将其重放到从库数据中
　　解决的问题：数据分布：随意中止或开始复制，并在不一样地理位置分布数据备份；负载均衡：下降单个服务器的压力；高可用和故障切换：帮助应用程序避免单点失败；升级测试：可使用更高版本的MySQL做为从库

6. 安全性

　　SQL查询的安全方案：使用预处理语句防SQL注入；写入数据库的数据要进行特殊字符的转义；查询错误信息不要返回给用户，将错误记录到日志。PHP端尽可能使用PDO对数据库进行相关操做，PDO拥有对预处理语句很好的支持的方法，MySQLi也有，可是可扩展性不如PDO，效率略高于PDO，MySQL函数在新版本中已经趋向于淘汰，因此不建议使用，并且它没有很好的支持预处理的方法

　　MySQL的其余安全设置：按期作数据备份；不给查询用户root权限，合理分配权限；关闭远程访问数据库权限；修改root口令，不用默认口令，使用较复杂的口令；删除多余的用户；改变root用户的名称；限制通常用户浏览其余库；限制用户对数据文件的访问权限