聊聊数据库~2.SQL环境篇

时间  2019-11-06
标签 聊聊 数据库 2.sql sql 环境 栏目 SQL 繁體版
原文   原文链接

传统数据库

上篇文章：聊聊数据库~开篇 http://www.javashuo.com/article/p-kmvgjgda-eh.htmlhtml

原本准备直接开讲NoSQL的（当时开篇就是说的NoSQL）考虑到有些同志可能连MySQL系都没接触过，因此咱们2019说数据系的时候预计从MySQL（穿插MSSQL）开始，这篇文章就当试水篇，效果好就继续往下写~（这篇偏理论和运维）mysql

1.1.MariaDB and MySQL

官方文档：https://mariadb.com/kb/zh-cn/mariadbgit

目前主流：MySQL 5.7 or MariaDB 5.5.x（推荐）github

多一句嘴，MySQL当年被Oracle收购后，MySQL之父以为靠Oracle维护MySQL很不靠谱，而后就跳槽弄了个MariaDB（不少Oracle竞争对手扶持着），目前MariaDB是发展最快的MySQL分支版本（PS：MySQL如今是双协议了，大部分公司用的版本都是<=5.7）sql

而后得说下迁移问题：MySQL 5.x到 MariaDB 5.x基本上是无缝的，MariaDB最新稳定版为：MariaDB 5.5shell

PS：MariaDB有两个分支，而10.x分支是不兼容MySQL的数据库

MariaDB与MySQL兼容性能够查看：ubuntu

https://mariadb.com/kb/zh-cn/mariadb-vs-mysql-compatibility/centos

PS：国内比较火的还有阿里的MySQL分支：https://github.com/alibaba/AliSQL安全

不谈其余的，我们看看它们开发的积极程度就知道为何MariaDB是主流了
1.积极.png

使用归纳（推荐）

若是想要使用MariaDB10.x的同志能够考虑MySQL8.x（社区完善）

若是想要使用MySQL5.x的同志能够考虑MariaDB5.5.x（高性能且兼容）

1.2.MariaDB部署

网络配置若是不会能够看我之前写的文章：http://www.javashuo.com/article/p-xulcawzr-by.html

1.环境配置和初始化

安装很简单，以CentOS为例：
1.CentOS.png

systemctl start mariadb.service   # 启动MariaDB
systemctl enable mariadb.service  # 设置开机启动

systemctl stop mariadb.service    # 中止MariaDB
systemctl restart mariadb.service # 重启MariaDB

1.运行.png

PS：Win安装注意这一步：
1.win.png

执行文件简单说明：有时候咱们 ps aux | grep mysql 的时候，发现运行的并非/usr/bin/下的mysqld而是mysqld_safe，那这个mysqld_safe是啥呢？==> 线程安全的实例

MariaDB的程序组成：ls /usr/bin | grep mysql

  1. Client：
    • mysql 命令行客户端
    • mysqldump 数据库备份用
    • mysqladmin 远程管理工具
    • mysqlbinlog 二进制日志管理工具
    • ...
  2. Server：
    • mysqld_safe 线程安全的实例
    • mysqld_multi 多实例
    • mysqld
    • mysql_secure_installation 安全初始化工具(记得先启动数据库哦)
    • ...

mysql的帐号由两部分组成：username@host，MySQL客户端链接参数：

  • -u用户名：--user，默认为root
  • -h服务器主机：--host，默认为localhost
    • host用于限制用户能够经过哪些主机链接
    • 支持通配符：
      • %匹配任意长度的任意字符：172.16.0.0/16 ==> 172.16.%.%
      • _匹配任意单个字符
  • -p密码：--password，默认为空
    • 安装完成后运行mysql_secure_installation来设置密码并初始化
  • other：
    • -P：--port，指定端口
    • -D：--database，指定数据库
    • -C：--compress，链接数据库的时候对传输的数据压缩
    • -S：--socket，指定socket文件
  • MySQL专用：-e "SQL语句"，直接执行SQL语句
    • mysql -e "show databases"（脚本直接运行）

不少人安装完成后是这样设置密码的：(不推荐)
1.不推荐.png

正确打开方式：mysql_secure_installation
1.安全初始化1.png

若是容许root远程登陆：Disallow root login remotely? [Y/n] n
1.安全初始化2.png

安全初始化后登陆图示：
1.安全初始化后登陆.png
1.基本信息.png

2.配置文件

以MariaDB 5.5.60为例：

  1. Linux：配置文件查找顺序(找不到就往下继续)
    • /etc/my.cnf --> /etc/mysql/conf.d/*.cnf --> ~/.my.cnf
  2. Windows：MariaDB安装目录/data/my.ini

PS：通常配置文件都会设置这3个

[mysqld]
# 独立表空间: 每个表都有一个.frm表描述文件，还有一个.ibd文件
innodb_file_per_table=on
# 不对链接进行DNS解析(省时)
skip_name_resolve=on
# 配置sql_mode
sql_mode='strict_trans_tables'

# 指定数据库文件存放路径
# datadir=/mysql/data
# socket=/mysql/data/mysql.sock # 与之对应

其余配置MariaDB提供了样本：

[dnt@localhost ~] ls /usr/share/mysql/ | grep .cnf
my-huge.cnf            # 超大内存配置参考
my-innodb-heavy-4G.cnf # 4G内存配置参考
my-large.cnf           # 大内存配置
my-medium.cnf          # 中等内存配置
my-small.cnf           # 小内存配置

PS：thread_concurrency=CPU数*2最佳，修改配置后记得重启数据库

3.远程访问

1.以前安全初始化的时候把root禁止远程登陆了，如今咱们建立一个其余用户
1.新增用户.png

2.给用户权限
1.给权限.png

3.防火墙放行指定端口
1.防火墙.png

4.远程客户端测试一下
1.成功.png

Code以下：

# root帐户登陆
mysql -uroot -p

# 新增用户
insert into mysql.user(user,host,password) values("用户名","%",password("密码"));

# 刷新设置
flush privileges;

# 分配权限
grant all privileges on 数据库.* to 用户名@"%" identified by "密码";

# 刷新设置
flush privileges;

# 显示服务状态
systemctl status firewalld

# 添加 --permanent永久生效(没有此参数重启后失效)
firewall-cmd --zone=public --add-port=3306/tcp --permanent

# 从新载入
firewall-cmd --reload

# 查看
firewall-cmd --zone= public --query-port=3306/tcp
# 删除
firewall-cmd --zone= public --remove-port=3306/tcp --permanent

SQLServer远程链接：http://www.javashuo.com/article/p-wrzuikpx-dz.html

扩展：为用户添加新数据库的权限

PS：先使用root建立数据库，而后再受权grant all privileges on 数据库.* to 用户名@"%" identified by "密码";并刷新flush privileges;

3.1.为用户添加新数据库权限.png

查看权限：show grants for dnt;
3.2.查看权限.png

效果：
3.3.效果.png

1.3.MySQL部署

以前有园友说，为啥不顺便说说UbuntuServer的部署呢？呃。。。通常来讲公司服务器都是CentOS的占大多数，而后UbuntuServer更多的是我的云服务比较多（推荐初创公司使用），毕竟它们两个系统追求的不太同样，一个是追求稳（部署麻烦），一个是追求软件尽可能新的状况下稳定（更新太快）

那么长话短说，步入正轨：

1.Ubuntu最多见的包问题

Ubuntu不得不说的就是这个apt出问题的处理 ：（换源就不说了/etc/apt/sources.list）

# 通常删除这几个锁文件，而后再从新配置下就能够了
sudo rm /var/lib/dpkg/lock
sudo rm /var/lib/dpkg/lock-frontend
sudo rm /var/lib/apt/lists/lock
sudo rm /var/cache/apt/archives/lock
# 简写（千万注意空格，否则你就是rm -rf / + 跑路了）
# sudo rm /var/lib/apt/lists/lock /var/cache/apt/archives/lock /var/lib/dpkg/lock /var/lib/dpkg/lock-frontend

# 从新配置下
sudo dpkg --configure -a

2.安装注意（Ubuntu的特色就是使用起来简单）

Ubuntu推荐使用MySQL（毕竟同是5.x用起来基本上差很少，安装过程和以前说的CentOS 下 MariaDB差很少，全部命令前加个sudo）

1.安装比较简单：sudo apt install mysql-server -y
2.1.Ubuntu.png

2.容许远程链接：注释掉 bind-address=127.0.0.1(/etc/mysql/mysql.conf.d/mysqld.cnf)
2.2.远程链接.png

PS：经常使用配置（/etc/mysql/mysql.conf.d/mysqld.cnf）
2.2.1.经常使用配置.png

3.关于为何是这个路径的说明：sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf
2.3.为何是这个路径.png

4.全部配置修改都须要从新启动下：sudo systemctl restart mysql
2.4.记得重启一下

5.第一次初始化和MariaDB不太同样：sudo mysql_secure_installation（其余一路y便可）

须要选下你设置root密码的复杂度：（通常1就能够了，就算设置再复杂，入了系统也是虚的）
2.5.初始化-注意下密码复杂程度

PS：能够看看拓展文章：Ubuntu16安装mysql5.7未提示输入密码，安装后修改mysql默认密码 和 【不推荐】修改mysql密码策略

6.而后输入密码你就能够登陆了sudo mysql -uroot -p（PS：你直接sudo mysql也能够直接登陆）

这边我就不像上节课一步步演示了，直接受权和建立一步走了grant all privileges on 数据库.* to "用户名"@"%" identified by "复杂密码";
2.6.受权建立一步走.png

7.记得flush privileges;刷新一下系统表
2.7.测试.png

课后拓展：

MySQL5.7.26 忘记Root密码小计：http://www.javashuo.com/article/p-heuahocu-cm.html

浅析MySQL 8忘记密码处理方式
https://www.cnblogs.com/wangjiming/p/10363357.html

MySQL5.6更改datadir数据存储目录
https://www.cnblogs.com/ding2016/p/7644675.html

扩展：CentOS7安装MySQL8

CentOS7安装MySQL8.0安装小计：https://mp.weixin.qq.com/s/Su3Ivuy5IMeAwYBXaka0ag

MySQL军规（58）

文章结尾贴一节58的MySQL军规：（适用于并发量大，数据量大的典型互联网业务）

1.基础规范

  1. 表存储引擎必须使用InnoDB
  2. 表字符集默认使用utf8，必要时候使用utf8mb4
    • utf8通用，无乱码风险，汉字3字节，英文1字节
    • utf8mb4是utf8的超集，存储4字节时使用（eg：表情符号）
  3. 禁止使用存储过程，视图，触发器，Event
    • 调试，排错，迁移都比较困难，扩展性较差
    • 对数据库性能影响较大，互联网业务，能让站点层和服务层干的事情，不要交到数据库层
  4. 禁止在数据库中存储大文件（eg：照片）
    • 能够将大文件存储在对象存储系统，数据库中存储路径
  5. 禁止在线上环境作数据库压力测试
    • 测试，开发，线上数据库环境必须隔离

2.命名规范

  1. 库名，表名，列名必须用小写，采用下划线分隔
    • abc，Abc，ABC都是给本身埋坑
  2. 库名，表名，列名必须见名知义，长度不要超过32字符
    • tmp，wushan谁TM知道这些库是干吗的
  3. 库备份必须以bak为前缀，以日期为后缀
    • 从库必须以-s为后缀
    • 备库必须以-ss为后缀

3.表设计规范

  1. 单实例表个数必须控制在2000个之内
  2. 单表分表个数必须控制在1024个之内
  3. 表必须有主键，推荐使用unsigned整数为主键
    • 潜在坑：删除无主键的表，若是是row模式的主从架构，从库会挂住
  4. 禁止使用外键，若是要保证完整性，应由应用程式实现
    • 外键使得表之间相互耦合，影响update/delete等SQL性能
    • 有可能形成死锁，高并发状况下容易成为数据库瓶颈
  5. 建议将大字段，访问频度低的字段拆分到单独的表中存储，分离冷热数据
    • 垂直拆分的依据，尽可能把长度较短，访问频率较高的属性放在主表里
    • 流量大数据量大时，数据访问要有service层，而且service层不要经过join来获取主表和扩展表的属性
    • 具体能够参考沈剑大牛写的《如何实施数据库垂直拆分》

4.列设计规范

  1. 根据业务区分使用tinyint/int/bigint，分别会占用1/4/8字节
  2. 根据业务区分使用char/varchar（PS：没有MSSQL里的nvarchar）
    • 字段长度固定，或者长度近似的业务场景，适合使用char，可以减小碎片，查询性能高
    • 字段长度相差较大，或者更新较少的业务场景，适合使用varchar，可以减小空间
  3. 根据业务区分使用datetime/timestamp
    • datetime占用5个字节，timestamp占用4个字节
    • 存储年使用year，存储日期使用date，存储时间使用datetime
  4. 必须把字段定义为NOT NULL并设默认值
    • NULL须要更多的存储空间
    • NULL的列使用索引，索引统计，值都更加复杂，MySQL更难优化
    • NULL只能采用IS NULL或者IS NOT NULL，而在=/!=/in/not in时有大坑
  5. 使用int unsigned存储IPv4，不要用char(15)
  6. 使用varchar(20)存储手机号，不要使用整数
    • 手机号不会用来作数学运算
    • varchar能够模糊查询(eg：like ‘138%’)
    • 牵扯到国家代号，可能出现+、-、()等字符，eg：+86
  7. 使用tinyint来代替enum
    • enum增长新值要进行DDL操做

5.索引规范（经常使用）

  1. 惟一索引使用uniq_字段名来命名（uq_表名_字段名）
  2. 非惟一索引使用idx_字段名来命名（ix_表名_字段名）
  3. 单张表索引数量建议控制在5个之内
    • 互联网高并发业务，太多索引会影响写性能
    • 异常复杂的查询需求，能够选择ES等更为适合的方式存储
    • 生成执行计划时，若是索引太多，会下降性能，并可能致使MySQL选择不到最优索引
  4. 组合索引字段数不建议超过5个
    • 若是5个字段还不能极大缩小row范围，八成是设计有问题
  5. 不建议在频繁更新的字段上创建索引
  6. 尽可能不要join查询，若是要进行join查询，被join的字段必须类型相同，并创建索引
    • join字段类型不一致容易致使全表扫描
  7. 理解组合索引最左前缀原则，避免重复建设索引
    • 若是创建了(a,b,c)，至关于创建了(a), (a,b), (a,b,c)

6.SQL规范（经常使用）

  1. 禁止使用select *，只获取必要字段
    • 指定字段能有效利用索引覆盖
    • select *会增长cpu/io/内存/带宽的消耗
    • 指定字段查询，在表结构变动时，能保证对应用程序无影响
  2. insert必须指定字段，禁止使用insert into T values()
    • 指定字段插入，在表结构变动时，能保证对应用程序无影响
  3. 隐式类型转换会使索引失效，致使全表扫描（很重要）
  4. 禁止在where条件列使用函数或者表达式
    • 致使不能命中索引，全表扫描
  5. 禁止负向查询以及%开头的模糊查询
    • 致使不能命中索引，全表扫描
  6. 禁止大表join和子查询
  7. 同一个字段上的or必须改写为in，in的值必须少于50个
  8. 应用程序必须捕获SQL异常（方便定位线上问题）

课后思考：为何select uid from user where phone=13811223344不能命中phone索引？

课后拓展：

MyISAM与InnoDB二者之间区别与选择
https://www.cnblogs.com/y-rong/p/5309392.html
https://www.cnblogs.com/y-rong/p/8110596.html

了解下Mysql的间隙锁及产生的缘由
https://www.cnblogs.com/wt645631686/p/8324671.html

grant受权和revoke回收权限
https://www.cnblogs.com/kevingrace/p/5719536.html

centos7自带数据库MariaDB重启和修改密码
https://blog.csdn.net/shachao888/article/details/50341857

MySQL添加用户、删除用户与受权
https://www.cnblogs.com/wanghetao/p/3806888.html

深度认识 Sharding-JDBC：作最轻量级的数据库中间层
https://my.oschina.net/editorial-story/blog/888650
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程