Python之路第十二天，高级(5)-Python操做Mysql，SqlAlchemy

时间 2019-11-17

标签 python 之路第十二天 2天高级 mysql sqlalchemy 栏目 Python 繁體版

原文原文链接

Mysql基础

1、安装

Windows:html

1.下载
http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.31-winx64.zip

2.解压
将压缩包解压到你想要安装的位置，例如个人解压到C:\Program Files\mysql-5.6.31-winx64

3.配置环境变量
右击个人电脑-->属性-->高级系统设置-->高级-->环境变量-->系统变量-->找到Path变量-->编辑
在最后添加 ;C:\Program Files\mysql-5.6.31-winx64\bin 将bin目录添加到环境变量里面去

4. 修改配置文件
将C:\Program Files\mysql-5.6.31-winx64\my.default.int 更名为my.ini,并打开此文件修改一些配置
[mysqld] 
basedir= C:\Program Files\mysql-5.6.31-winx64（mysql所在目录） 
datadir= C:\Program Files\mysql-5.6.31-winx64\data （数据目录）

5. 将Mysql注册为服务
打开CMD(必须以管理员身份运行），而后必须进入mysql的bin目录下执行 mysqld.exe -install
执行成功会提示Service successfully installed

6.启动Mysql
在CMD里执行net start mysql
执行mysql启动成功，则说明就可使用mysql了

7.进入mysql
在CMD里执行 mysql,成功进入mysql命令行

Linux:python

CentOS: 
[root@localhost ~]# yum install mysql-server

Ubuntu:
[python@localhost ~]$ sudo apt-get install mysql-server

2、SQL基础

1. 显示可用的数据库mysql

mysql> show databases;

2. 使用数据库sql

mysql> use test;

3. 显示数据库中的全部表数据库

mysql> show tables;

4. 用户管理编程

建立用户:
mysql> create user '用户名'@'IP地址' identified by '密码';

删除用户:
mysql> drop user '用户名'@'IP地址';

修改用户:
mysql> rename user '用户名'@'IP地址' to '新用户名'@'IP地址';

修改密码:
mysql> set password for '用户名'@'IP地址' = password('新密码');

5. 受权管理服务器

show grants for '用户'@'IP地址';                  -- 查看权限
grant  权限 on 数据库.表 to   '用户'@'IP地址'      -- 受权
grant  权限 on 数据库.表 to   '用户'@'IP地址' identified by '密码';  -- 受权并建立用户（建立用户经常使用这条命令）
revoke 权限 on 数据库.表 from '用户'@'IP地址'      -- 取消权限

关于权限：session

all privileges  除grant外的全部权限
            select          仅查权限
            select,insert   查和插入权限
            ...
            usage                   无访问权限
            alter                   使用alter table
            alter routine           使用alter procedure和drop procedure
            create                  使用create table
            create routine          使用create procedure
            create temporary tables 使用create temporary tables
            create user             使用create user、drop user、rename user和revoke  all privileges
            create view             使用create view
            delete                  使用delete
            drop                    使用drop table
            execute                 使用call和存储过程
            file                    使用select into outfile 和 load data infile
            grant option            使用grant 和 revoke
            index                   使用index
            insert                  使用insert
            lock tables             使用lock table
            process                 使用show full processlist
            select                  使用select
            show databases          使用show databases
            show view               使用show view
            update                  使用update
            reload                  使用flush
            shutdown                使用mysqladmin shutdown(关闭MySQL)
            super                   使用change master、kill、logs、purge、master和set global。还容许mysqladmin调试登录
            replication client      服务器位置的访问
            replication slave       由复制从属使用

关于数据库oracle

对于目标数据库以及内部其余：
            数据库名.*           数据库中的全部表
            数据库名.表          指定数据库中的某张表
            数据库名.存储过程    指定数据库中的存储过程
            *.*                  全部数据库

关于用户名框架

在Mysql里用户名@IP地址才是真正的用户名，缺一不可

用户名@IP地址        用户只能在改IP下才能访问
用户名@192.168.1.%   用户只能在改IP段下才能访问(通配符%表示任意)
用户名@%             用户能够再任意IP下访问(默认IP地址为%)

举例

# 将db1库里的tb1表的全部权限都受权给'用户名'@'IP'
mysql> grant all privileges on db1.tb1 TO '用户名'@'IP';

# 将db1库里的全部表的select权限受权给'用户名'@'IP';
mysql> grant select on db1.* TO '用户名'@'IP'

# 将全部库全部表的select,insert权限受权给'用户名'@'IP';
mysql> grant select,insert on *.* TO '用户名'@'IP'

# 取消'用户名'@'IP'对db1库b1表的select权限
mysql> revoke select on db1.tb1 from '用户名'@'IP';

建立数据库

mysql> create database db1 default charset utf8;

建立表

create table 表名(
    列名  类型  是否能够为空，
    列名  类型  是否能够为空
)

是否为空：

是否可空，null表示空，非字符串
          not null   - 不可空
          null       - 可空

默认值：

默认值，建立列时能够指定默认值，当插入数据时若是未主动设置，则自动添加默认值
            create table tb1(
                nid int not null defalut 0,
                num int not null
            )

主键：

主键，一种特殊的惟一索引，不容许有空值，若是主键使用单个列，则它的值必须惟一，若是是多列，则其组合必须惟一。
            create table tb1(
                nid int not null auto_increment primary key,
                num int null
            )
            或
            create table tb1(
                nid int not null,
                num int not null,
                primary key(nid,num)
            )

外键：

外键，一个特殊的索引，只能是指定内容
            creat table color(
                nid int not null primary key,
                name char(16) not null
            )

            create table fruit(
                nid int not null primary key,
                smt char(32) null ,
                color_id int not null,
                constraint fk_cc foreign key (color_id) references color(nid)
            )

删除表

drop table 表名

清空表

delete from 表名
truncate table 表名

修改表

添加列：alter table 表名 add 列名 类型
删除列：alter table 表名 drop column 列名
修改列：
        alter table 表名 modify column 列名 类型;  -- 类型
        alter table 表名 change 原列名 新列名 类型; -- 列名，类型
 
添加主键：
        alter table 表名 add primary key(列名);
删除主键：
        alter table 表名 drop primary key;
        alter table 表名  modify  列名 int, drop primary key;
 
添加外键：
        alter table 从表 add constraint 外键名称（形如：FK_从表_主表） foreign key 从表(外键字段) references 主表(主键字段);
删除外键：
        alter table 表名 drop foreign key 外键名称
 
修改默认值：
        ALTER TABLE testalter_tbl ALTER i SET DEFAULT 1000;

删除默认值：
        ALTER TABLE testalter_tbl ALTER i DROP DEFAULT;

Mysql数据库基本操做：

增

insert into 表 (列名,列名...) values (值,值,值...)
insert into 表 (列名,列名...) values (值,值,值...),(值,值,值...)
insert into 表 (列名,列名...) select (列名,列名...) from 表

删

delete from 表
delete from 表 where id＝1 and name＝'alex'

改

update 表 set name ＝ 'alex' where id>1

查

select * from 表;
select * from 表 where id > 1;
select nid,name,gender as gg from 表 where id > 1;

其它

条件:
     select * from 表 where id > 1 and name != 'alex' and num = 12;
     select * from 表 where id between 5 and 16;
     select * from 表 where id in (11,22,33)
     select * from 表 where id not in (11,22,33)
     select * from 表 where id in (select nid from 表)

通配符:
     select * from 表 where name like 'ale%'  - ale开头的全部（多个字符串）
     select * from 表 where name like 'ale_'  - ale开头的全部（一个字符）

限制:
     select * from 表 limit 5;            - 前5行
     select * from 表 limit 4,5;          - 从第4行开始的5行
     select * from 表 limit 5 offset 4    - 从第4行开始的5行

排序:
     select * from 表 order by 列 asc              - 根据 “列” 从小到大排列
     select * from 表 order by 列 desc             - 根据 “列” 从大到小排列
     select * from 表 order by 列1 desc,列2 asc    - 根据 “列1” 从大到小排列，若是相同则按列2从小到大排序

分组:
     select num from 表 group by num
     select num,nid from 表 group by num,nid
     select num,nid from 表  where nid > 10 group by num,nid order nid desc
     select num,nid,count(*),sum(score),max(score),min(score) from 表 group by num,nid
     select num from 表 group by num having max(id) > 10

     特别的：group by 必须在where以后，order by以前

连表:
    无对应关系则不显示
    select A.num, A.name, B.name
    from A,B
    Where A.nid = B.nid

    无对应关系则不显示
    select A.num, A.name, B.name
    from A inner join B
    on A.nid = B.nid

    A表全部显示，若是B中无对应关系，则值为null
    select A.num, A.name, B.name
    from A left join B
    on A.nid = B.nid

    B表全部显示，若是B中无对应关系，则值为null
    select A.num, A.name, B.name
    from A right join B
    on A.nid = B.nid

组合:
    组合，自动处理重合
    select nickname from A union select name from B

    组合，不处理重合
    select nickname from A union all select name from B

pymsql MySQLdb

pymsql是Python中操做MySQL的模块，其使用方法和MySQLdb几乎相同。pymysql用在Python3.x中，MySQLdb用在Python2.x中

1、安装

pip3 install pymsql

2、使用

import pymysql
 
# 建立链接
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1')
# 建立游标
cursor = conn.cursor()
 
# 执行SQL，并返回收影响行数
effect_row = cursor.execute("update hosts set host = '1.1.1.2'")
 
# 执行SQL，并返回受影响行数
#effect_row = cursor.execute("update hosts set host = '1.1.1.2' where nid > %s", (1,))
 
# 执行SQL，并返回受影响行数
#effect_row = cursor.executemany("insert into hosts(host,color_id)values(%s,%s)", [("1.1.1.11",1),("1.1.1.11",2)])
 
 
# 提交，否则没法保存新建或者修改的数据
conn.commit()
 
# 关闭游标
cursor.close()
# 关闭链接
conn.close()

获取最新插入数据自增ID

import pymysql
 
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1')
cursor = conn.cursor()
cursor.executemany("insert into hosts(host,color_id)values(%s,%s)", [("1.1.1.11",1),("1.1.1.11",2)])
conn.commit()
cursor.close()
conn.close()
 
# 获取最新自增ID
new_id = cursor.lastrowid

获取查询数据

import pymysql
 
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1')
cursor = conn.cursor()
cursor.execute("select * from hosts")
 
# 获取第一行数据
row_1 = cursor.fetchone()
 
# 获取前n行数据
# row_2 = cursor.fetchmany(3)

# 获取全部数据
# row_3 = cursor.fetchall()
 
cursor.close()
conn.close()

注：在fetch数据时按照顺序进行，可使用cursor.scroll(num,mode)来移动游标位置，如：

cursor.scroll(1,mode='relative')  # 相对当前位置移动
cursor.scroll(2,mode='absolute')  # 相对绝对位置移动

fetch数据类型

　　关于默认获取的数据是元组类型，若是想要或者字典类型的数据，即：

import pymysql
 
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1')
 
# 游标设置为字典类型
cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
r = cursor.execute("call p1()")
 
result = cursor.fetchone()
 
cursor.close()
conn.close()

SQLAlchemy

SQLAlchemy是Python编程语言下的一款ORM框架，该框架创建在数据库API之上，使用关系对象映射进行数据库操做，简言之即是：将对象转换成SQL，而后使用数据API执行SQL并获取执行结果。

SQLAlchemy自己没法操做数据库，其必须以来pymsql等第三方插件，Dialect用于和数据API进行交流，根据配置文件的不一样调用不一样的数据库API，从而实现对数据库的操做，如：

MySQL-Python
    mysql+mysqldb://<user>:<password>@<host>[:<port>]/<dbname>
  
pymysql
    mysql+pymysql://<username>:<password>@<host>/<dbname>[?<options>]
  
MySQL-Connector
    mysql+mysqlconnector://<user>:<password>@<host>[:<port>]/<dbname>
  
cx_Oracle
    oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...]

底层处理

使用 Engine/ConnectionPooling/Dialect 进行数据库操做，Engine使用ConnectionPooling链接数据库，而后再经过Dialect执行SQL语句。

from sqlalchemy import create_engine
 
 
engine = create_engine("mysql+pymysql://root:123@127.0.0.1:3306/t1", max_overflow=5)
 
# 执行SQL
# cur = engine.execute(
#     "INSERT INTO hosts (host, color_id) VALUES ('1.1.1.22', 3)"
# )
 
# 新插入行自增ID
# cur.lastrowid
 
# 执行SQL
# cur = engine.execute(
#     "INSERT INTO hosts (host, color_id) VALUES(%s, %s)",[('1.1.1.22', 3),('1.1.1.221', 3),]
# )
 
 
# 执行SQL
# cur = engine.execute(
#     "INSERT INTO hosts (host, color_id) VALUES (%(host)s, %(color_id)s)",
#     host='1.1.1.99', color_id=3
# )
 
# 执行SQL
# cur = engine.execute('select * from hosts')
# 获取第一行数据
# cur.fetchone()
# 获取第n行数据
# cur.fetchmany(3)
# 获取全部数据
# cur.fetchall()

ORM功能使用

使用 ORM/Schema Type/SQL Expression Language/Engine/ConnectionPooling/Dialect 全部组件对数据进行操做。根据类建立对象，对象转换成SQL，执行SQL。

1. 建立表

from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String, ForeignKey, UniqueConstraint, Index
from sqlalchemy.orm import sessionmaker, relationship
from sqlalchemy import create_engine

engine = create_engine("mysql+pymysql://root:123@127.0.0.1:3306/t1", max_overflow=5)

Base = declarative_base()

# 建立单表
class Users(Base):
    __tablename__ = 'users'
    id = Column(Integer, primary_key=True)
    name = Column(String(32))
    extra = Column(String(16))

    __table_args__ = (
    UniqueConstraint('id', 'name', name='uix_id_name'),
        Index('ix_id_name', 'name', 'extra'),
    )


# 一对多
class Favor(Base):
    __tablename__ = 'favor'
    nid = Column(Integer, primary_key=True)
    caption = Column(String(50), default='red', unique=True)


class Person(Base):
    __tablename__ = 'person'
    nid = Column(Integer, primary_key=True)
    name = Column(String(32), index=True, nullable=True)
    favor_id = Column(Integer, ForeignKey("favor.nid"))


# 多对多
class Group(Base):
    __tablename__ = 'group'
    id = Column(Integer, primary_key=True)
    name = Column(String(64), unique=True, nullable=False)
    port = Column(Integer, default=22)


class Server(Base):
    __tablename__ = 'server'

    id = Column(Integer, primary_key=True, autoincrement=True)
    hostname = Column(String(64), unique=True, nullable=False)


class ServerToGroup(Base):
    __tablename__ = 'servertogroup'
    nid = Column(Integer, primary_key=True, autoincrement=True)
    server_id = Column(Integer, ForeignKey('server.id'))
    group_id = Column(Integer, ForeignKey('group.id'))


def init_db():
    Base.metadata.create_all(engine)


def drop_db():
    Base.metadata.drop_all(engine)

2. 操做表

表结构加链接数据库

from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String, ForeignKey, UniqueConstraint, Index
from sqlalchemy.orm import sessionmaker, relationship
from sqlalchemy import create_engine

engine = create_engine("mysql+pymysql://root:123@127.0.0.1:3306/t1", max_overflow=5)

Base = declarative_base()

# 建立单表
class Users(Base):
    __tablename__ = 'users'
    id = Column(Integer, primary_key=True)
    name = Column(String(32))
    extra = Column(String(16))

    __table_args__ = (
    UniqueConstraint('id', 'name', name='uix_id_name'),
        Index('ix_id_name', 'name', 'extra'),
    )

    def __repr__(self):
        return "%s-%s" %(self.id, self.name)

# 一对多
class Favor(Base):
    __tablename__ = 'favor'
    nid = Column(Integer, primary_key=True)
    caption = Column(String(50), default='red', unique=True)

    def __repr__(self):
        return "%s-%s" %(self.nid, self.caption)

class Person(Base):
    __tablename__ = 'person'
    nid = Column(Integer, primary_key=True)
    name = Column(String(32), index=True, nullable=True)
    favor_id = Column(Integer, ForeignKey("favor.nid"))
    # 与生成表结构无关，仅用于查询方便
    favor = relationship("Favor", backref='pers')

# 多对多
class ServerToGroup(Base):
    __tablename__ = 'servertogroup'
    nid = Column(Integer, primary_key=True, autoincrement=True)
    server_id = Column(Integer, ForeignKey('server.id'))
    group_id = Column(Integer, ForeignKey('group.id'))
    group = relationship("Group", backref='s2g')
    server = relationship("Server", backref='s2g')

class Group(Base):
    __tablename__ = 'group'
    id = Column(Integer, primary_key=True)
    name = Column(String(64), unique=True, nullable=False)
    port = Column(Integer, default=22)
    # group = relationship('Group',secondary=ServerToGroup,backref='host_list')


class Server(Base):
    __tablename__ = 'server'

    id = Column(Integer, primary_key=True, autoincrement=True)
    hostname = Column(String(64), unique=True, nullable=False)




def init_db():
    Base.metadata.create_all(engine)


def drop_db():
    Base.metadata.drop_all(engine)


Session = sessionmaker(bind=engine)
session = Session()

增

obj = Users(name="alex0", extra='sb')
session.add(obj)
session.add_all([
    Users(name="alex1", extra='sb'),
    Users(name="alex2", extra='sb'),
])
session.commit()

删

session.query(Users).filter(Users.id > 2).delete()
session.commit()

改

session.query(Users).filter(Users.id > 2).update({"name" : "099"})
session.query(Users).filter(Users.id > 2).update({Users.name: Users.name + "099"}, synchronize_session=False)
session.query(Users).filter(Users.id > 2).update({"num": Users.num + 1}, synchronize_session="evaluate")
session.commit()

查

ret = session.query(Users).all()
ret = session.query(Users.name, Users.extra).all()
ret = session.query(Users).filter_by(name='alex').all()
ret = session.query(Users).filter_by(name='alex').first()

其它

#　条件
ret = session.query(Users).filter_by(name='alex').all()
ret = session.query(Users).filter(Users.id > 1, Users.name == 'eric').all()
ret = session.query(Users).filter(Users.id.between(1, 3), Users.name == 'eric').all()
ret = session.query(Users).filter(Users.id.in_([1,3,4])).all()
ret = session.query(Users).filter(~Users.id.in_([1,3,4])).all()
ret = session.query(Users).filter(Users.id.in_(session.query(Users.id).filter_by(name='eric'))).all()
from sqlalchemy import and_, or_
ret = session.query(Users).filter(and_(Users.id > 3, Users.name == 'eric')).all()
ret = session.query(Users).filter(or_(Users.id < 2, Users.name == 'eric')).all()
ret = session.query(Users).filter(
    or_(
        Users.id < 2,
        and_(Users.name == 'eric', Users.id > 3),
        Users.extra != ""
    )).all()


# 通配符
ret = session.query(Users).filter(Users.name.like('e%')).all()
ret = session.query(Users).filter(~Users.name.like('e%')).all()

# 限制
ret = session.query(Users)[1:2]

# 排序
ret = session.query(Users).order_by(Users.name.desc()).all()
ret = session.query(Users).order_by(Users.name.desc(), Users.id.asc()).all()

# 分组
from sqlalchemy.sql import func

ret = session.query(Users).group_by(Users.extra).all()
ret = session.query(
    func.max(Users.id),
    func.sum(Users.id),
    func.min(Users.id)).group_by(Users.name).all()

ret = session.query(
    func.max(Users.id),
    func.sum(Users.id),
    func.min(Users.id)).group_by(Users.name).having(func.min(Users.id) >2).all()

# 连表

ret = session.query(Users, Favor).filter(Users.id == Favor.nid).all()

ret = session.query(Person).join(Favor).all()

ret = session.query(Person).join(Favor, isouter=True).all()


# 组合
q1 = session.query(Users.name).filter(Users.id > 2)
q2 = session.query(Favor.caption).filter(Favor.nid < 2)
ret = q1.union(q2).all()

q1 = session.query(Users.name).filter(Users.id > 2)
q2 = session.query(Favor.caption).filter(Favor.nid < 2)
ret = q1.union_all(q2).all()