今天逛github
时,发现了这款对 SQL 进行优化和改写的自动化工具sora
。感受挺不错的,就下载学习了一下。这个工具支持的功能比较多,能够做为咱们平常开发中的一款辅助工具,如今我就把它推荐给大家~~~github传送门:https://github.com/XiaoMi/soarhtml
在咱们平常开发中,优化SQL老是咱们平常开发任务之一。例行 SQL 优化,不只能够提高程序性能,还可以下降线上故障的几率。mysql
目前经常使用的 SQL 优化方式包括但不限于:业务层优化、SQL逻辑优化、索引优化等。其中索引优化一般经过调整索引或新增索引从而达到 SQL 优化的目的。索引优化每每能够在短期内产生很是巨大的效果。若是可以将索引优化转化成工具化、标准化的流程,减小人工介入的工做量,无疑会大大提升咱们的工做效率。linux
SOAR(SQL Optimizer And Rewriter) 是一个对 SQL 进行优化和改写的自动化工具。 由小米人工智能与云平台的数据库团队开发与维护。git
与业内其余优秀产品对好比下:github
SOAR | sqlcheck | pt-query-advisor | SQL Advisor | Inception | sqlautoreview | |
---|---|---|---|---|---|---|
启发式建议 | ✔️ | ✔️ | ✔️ | ❌ | ✔️ | ✔️ |
索引建议 | ✔️ | ❌ | ❌ | ✔️ | ❌ | ✔️ |
查询重写 | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ |
执行计划展现 | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ |
Profiling | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ |
Trace | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ |
SQL在线执行 | ❌ | ❌ | ❌ | ❌ | ✔️ | ❌ |
数据备份 | ❌ | ❌ | ❌ | ❌ | ✔️ | ❌ |
从上图能够看出,支持的功能丰富,其功能特色以下:golang
就介绍这么多吧,既然是SQL优化工具,光说是没有用的,咱们仍是先用起来看看效果吧。面试
这里有两种安装方式,以下:算法
$ wget https://github.com/XiaoMi/soar/releases/download/0.11.0/soar.linux-amd64 -O soar chmod a+x soar
这里建议直接下载最新版,要不会有bug
。sql
下载好的二进制文件添加到环境变量中便可(不会的谷歌一下吧,这里就不讲了)。docker
测试一下:
$ echo 'select * from user' | soar.darwin-amd64(根据你本身的二进制文件名来输入) # Query: AC4262B5AF150CB5 ★ ★ ★ ☆ ☆ 75分 ```sql SELECT * FROM USER ``` ## 最外层 SELECT 未指定 WHERE 条件 * **Item:** CLA.001 * **Severity:** L4 * **Content:** SELECT 语句没有 WHERE 子句,可能检查比预期更多的行(全表扫描)。对于 SELECT COUNT(\*) 类型的请求若是不要求精度,建议使用 SHOW TABLE STATUS 或 EXPLAIN 替代。 ## 不建议使用 SELECT * 类型查询 * **Item:** COL.001 * **Severity:** L1 * **Content:** 当表结构变动时,使用 \* 通配符选择全部列将致使查询的含义和行为会发生更改,可能致使查询返回更多的数据。
依赖环境:
1. Go 1.10+ 2. git
高级依赖(仅面向开发人员)
生成二进制文件:
go get -d github.com/XiaoMi/soar cd ${GOPATH}/src/github.com/XiaoMi/soar && make
生成的二进制文件与上面同样,直接放入环境变量便可,这里我没有尝试,靠大家本身踩坑了呦~~~
准备一个table
,以下:
CREATE TABLE `users` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT, `username` varchar(64) NOT NULL DEFAULT '', `nickname` varchar(255) DEFAULT '', `password` varchar(256) NOT NULL DEFAULT '', `salt` varchar(48) NOT NULL DEFAULT '', `avatar` varchar(128) DEFAULT NULL, `uptime` datetime DEFAULT NULL, PRIMARY KEY (`id`), UNIQUE KEY `username` (`username`) ) ENGINE=InnoDB AUTO_INCREMENT=11 DEFAULT CHARSET=utf8mb4
$ echo "select * from users" | soar.darwin-amd64 $ # Query: 30AFCB1E1344BEBD ★ ★ ★ ☆ ☆ 75分 ```sql SELECT * FROM users ``` ## 最外层 SELECT 未指定 WHERE 条件 * **Item:** CLA.001 * **Severity:** L4 * **Content:** SELECT 语句没有 WHERE 子句,可能检查比预期更多的行(全表扫描)。对于 SELECT COUNT(\*) 类型的请求若是不要求精度,建议使用 SHOW TABLE STATUS 或 EXPLAIN 替代。 ## 不建议使用 SELECT * 类型查询 * **Item:** COL.001 * **Severity:** L1 * **Content:** 当表结构变动时,使用 \* 通配符选择全部列将致使查询的含义和行为会发生更改,可能致使查询返回更多的数据。
如今是彻底根据SQL语句进行分析的,由于没有链接到mysql
。能够看到,给出的报告也很详细,可是只是空壳子,仅凭SQL
语句给出的分析并非准确的,因此咱们开始接下来的应用。
mysql
生成EXPLAIN
分析报告咱们能够在配置文件中配置好mysql
相关的配置,操做以下:
vi soar.yaml # yaml format config file online-dsn: addr: 127.0.0.1:3306 schema: asong user: root password: root1997 disable: false test-dsn: addr: 127.0.0.1:3306 schema: asong user: root password: root1997 disable: false
配置好了,咱们来实践一会儿吧:
$ echo "SELECT id,username,nickname,password,salt,avatar,uptime FROM users WHERE username = 'asong1111'" | soar.darwin-amd64 -test-dsn="root:root1997@127.0.0.1:3306/asong" -allow-online-as-test -log-output=soar.log $ # Query: D12A420193AD1674 ★ ★ ★ ★ ★ 100分 ```sql SELECT id, username, nickname, PASSWORD, salt, avatar, uptime FROM users WHERE username = 'asong1111' ``` ## Explain信息 | id | select\_type | table | partitions | type | possible_keys | key | key\_len | ref | rows | filtered | scalability | Extra | |---|---|---|---|---|---|---|---|---|---|---|---|---| | 1 | SIMPLE | *users* | NULL | const | username | username | 258 | const | 1 | ☠️ **100.00%** | ☠️ **O(n)** | NULL | ### Explain信息解读 #### SelectType信息解读 * **SIMPLE**: 简单SELECT(不使用UNION或子查询等). #### Type信息解读 * **const**: const用于使用常数值比较PRIMARY KEY时, 当查询的表仅有一行时, 使用system. 例:SELECT * FROM tbl WHERE col = 1.
这回结果中多了EXPLAIN信息分析报告。这对于刚开始入门的小伙伴们是友好的,由于咱们对Explain
解析的字段并不熟悉,有了它咱们能够完美的分析SQL
中的问题,是否是很棒。
soar
工具不只仅能够进行sql
语句分析,还能够进行对sql
语法进行检查,找出其中的问题,来看个例子:
$ echo "selec * from users" | soar.darwin-amd64 -only-syntax-check At SQL 1 : line 1 column 5 near "selec * from users" (total length 18)
这里select
关键字少了一个t
,运行该指令帮助咱们一下就定位了问题,当咱们的sql
语句很长时,就可使用该指令来辅助咱们检查SQL
语句是否正确。
咱们平常开发时,常常会看其余人写的代码,由于水平不同,因此有些SQL
语句会写的很乱,因此这个工具就派上用场了,咱们能够把咱们的SQL
语句变得漂亮一些,更容易咱们理解哦。
$ echo "SELECT id,username,nickname,password,salt,avatar,uptime FROM users WHERE username = 'asong1111'" | soar.darwin-amd64 -report-type=pretty SELECT id, username, nickname, PASSWORD, salt, avatar, uptime FROM users WHERE username = 'asong1111';
这样看起来是否是更直观了呢~~。
由于我也才是刚使用这个工具,更多的玩法我尚未发现,之后补充。更多玩法能够本身研究一下,github传送门:https://github.com/XiaoMi/soar。官方文档其实很粗糙,更多方法解锁还要靠本身研究,毕竟源码已经给咱们了,对于学习go
也有必定帮助,看成一个小项目慢慢优化岂不是更好呢~~。
好啦,这一篇文章到这就结束了,咱们下期见~~。但愿对大家有用,又不对的地方欢迎指出,可添加个人golang交流群,咱们一块儿学习交流。
结尾给你们发一个小福利吧,最近我在看[微服务架构设计模式]这一本书,讲的很好,本身也收集了一本PDF,有须要的小伙能够到自行下载。获取方式:关注公众号:[Golang梦工厂],后台回复:[微服务],便可获取。
我翻译了一份GIN中文文档,会按期进行维护,有须要的小伙伴后台回复[gin]便可下载。
翻译了一份Machinery中文文档,会按期进行维护,有须要的小伙伴们后台回复[machinery]便可获取。
我是asong,一名普普统统的程序猿,让gi我一块儿慢慢变强吧。我本身建了一个golang
交流群,有须要的小伙伴加我vx
,我拉你入群。欢迎各位的关注,咱们下期见~~~
推荐往期文章: