冰冻三尺非一日之寒-mysql(orm/sqlalchemy)

时间 2019-12-14

标签冰冻三尺非一日之寒 mysql orm sqlalchemy 栏目 MySQL 繁體版

原文原文链接

第十二章 mysqlhtml

ORM介绍 2.sqlalchemy基本使用

ORM介绍：python

orm英文全称object relational mapping,就是对象映射关系程序，简单来讲咱们相似python这种面向对象的程序来讲一切皆对象，可是咱们使用的数据库却都是关系型的，为了保证一致的使用习惯，经过orm将编程语言的对象模型和数据库的关系模型创建映射关系，这样咱们在使用编程语言对数据库进行操做的时候能够直接使用编程语言的对象模型进行操做就能够了，而不用直接使用sql语言mysql

orm的优势：sql

隐藏了数据访问细节，“封闭”的通用数据库交互，ORM的核心。他使得咱们的通用数据库交互变得简单易行，而且彻底不用考虑该死的SQL语句。快速开发，由此而来。
ORM使咱们构造固化数据结构变得简单易行。

缺点：数据库

无可避免的，自动化意味着映射和关联管理，代价是牺牲性能（早期，这是全部不喜欢ORM人的共同点）。如今的各类ORM框架都在尝试使用各类方法来减轻这块（LazyLoad，Cache），效果仍是很显著的。

在Python中，最有名的ORM框架是SQLAlchemy。用户包括openstack＼Dropbox等知名公司或应用，主要用户列表http://www.sqlalchemy.org/organizations.html#openstack编程

Dialect用于和数据API进行交流，根据配置文件的不一样调用不一样的数据库API，从而实现对数据库的操做，如：ubuntu

 1 MySQL-Python
 2     mysql+mysqldb://<user>:<password>@<host>[:<port>]/<dbname>
 3    
 4 pymysql
 5     mysql+pymysql://<username>:<password>@<host>/<dbname>[?<options>]
 6    
 7 MySQL-Connector
 8     mysql+mysqlconnector://<user>:<password>@<host>[:<port>]/<dbname>
 9    
10 cx_Oracle
11     oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...]
12    
13 更多详见：http://docs.sqlalchemy.org/en/latest/dialects/index.html

安装sqlalchemysession

pip install SQLAlchemy<br><br>pip install pymysql  #因为mysqldb依然不支持py3，因此这里咱们用pymysql与sqlalchemy交互

1.基本操做：

1）连接数据库：create_engine()数据结构

 1 engine = create_engine("mysql+mysqldb://root:111111@121.42.195.15:3306/python", max_overflow=5)
 2 
 3 create_engine() 会返回一个数据库引擎，
 4 mysql+mysqldb”指定了使用 MySQL-Python 来链接，
 5 使用用户名‘root’和密码‘111111’来连接数据库
 6 121.42.195.15是数据库连接地址能够是localhost，127.0.0.1
 7 ‘python’是数据库名
 8 max_overflow是最大链接数
 9 其余方法：
10 “charset”指定了链接时使用的字符集（可省略）=utf8
11  echo 参数为 True 时，会显示每条执行的 SQL 语句，生产环境下可关闭。

2）字段和数据类型及操做方法oracle

在sqlalchemy.schema包里有数据库关系的描述，列举几个最经常使用的：

字段：Column

索引：Index

表：Table

数据类型在sqlalchemy.types包，列举几个最经常使用的:

二进制：BIGINT

布尔：BOOLEAN

字符：CHAR

可变字符：VARCHAR

日期：DATETIME

其余方法 execute,update,insert,select,delete,join等自行补脑

3)建立表结构

使用 Schema Type/SQL Expression Language/Engine/ConnectionPooling/Dialect 进行数据库操做。Engine使用Schema Type建立一个特定的结构对象，以后经过SQL Expression Language将该对象转换成SQL语句，而后经过 ConnectionPooling 链接数据库，再而后经过 Dialect 执行SQL，并获取结果。

from sqlalchemy import create_engine, Table, Column, Integer, /
String, MetaData, ForeignKey
import MySQLdb
#建立数据库链接
engine = create_engine("mysql+mysqldb://liuyao:liuyao@121.42.195.15:3306/liuyao", max_overflow=5)
# 获取元数据
metadata = MetaData()
# 定义表
user = Table('user', metadata,
    Column('id', Integer, primary_key=True),
    Column('name', String(20)),
    )

color = Table('color', metadata,
    Column('id', Integer, primary_key=True),
    Column('name', String(20)),
    )
# 建立数据表，若是数据表存在，则忽视
metadata.create_all(engine)
结果：
mysql> show tables;
+------------------+
| Tables_in_liuyao |
+------------------+
| color            |
| user             |
+------------------+
2 rows in set (0.00 sec)

3）插入一条数据

使用 Engine/ConnectionPooling/Dialect 进行数据库操做，Engine使用ConnectionPooling链接数据库，而后再经过Dialect执行SQL语句。

#!/usr/bin/env python3
#coding:utf8
from sqlalchemy import create_engine

engine = create_engine("mysql+mysqldb://root:111111@121.42.195.15:3306/
python", max_overflow=5)
engine.execute(
    "INSERT INTO python.color(id, name) VALUES ('1', 'chen');"
)
result = engine.execute('select * from color')
print(result.fetchall())
结果：
[(1L, 'chen'), (2L, 'v1')]

4) 增删改查

先建立数据库

#!/usr/bin/env python3
#coding:utf8
from sqlalchemy import create_engine, Table, Column, Integer, String,MetaData, ForeignKey
metadata = MetaData()   
#建立数据库引擎
engine = create_engine("mysql+mysqldb://root:111111@121.42.195.15:3306/
python", max_overflow=5)
conn = engine.connect()
#建立一个表叫作user 在python库里
user = Table('user', metadata,
    Column('id', Integer, primary_key=True),
    Column('name', String(20)),
)
color = Table('color', metadata,
    Column('id', Integer, primary_key=True),
    Column('name', String(20)),
)       
metadata.create_all(engine)

增长

# 建立SQL语句，INSERT INTO "user" (id, name) VALUES (:id, :name)
conn.execute(user.insert(),{'id':7,'name':'seven'})
conn.close()
# 或者按照下面的方式建立
# sql = user.insert().values(id=123, name='wu')
# conn.execute(sql) 
# conn.close()
结果：
mysql> show tables;
+------------------+
| Tables_in_liuyao |
+------------------+
| color            |
| user             |
+------------------+
2 rows in set (0.00 sec)

mysql> select * from user;
+----+-------+
| id | name  |
+----+-------+
|  7 | seven |
+----+-------+
1 row in set (0.00 sec)

删除

#删除一条user表里的 条件是id大于1的
sql = user.delete().where(user.c.id > 1)
#执行
conn.execute(sql)
#关闭连接
conn.close()
结果：
mysql> select * from user;
Empty set (0.00 sec)

mysql> 
#因表里只有一条数据，删除以后，没有任何数据存在

修改/更新

先建立几条数据步骤略
显示以下：
mysql> select * from user;
+----+--------+
| id | name   |
+----+--------+
|  1 | chen |
|  2 | kobe |
|  3 | javk |
|  4 | yao    |
+----+--------+
4 rows in set (0.00 sec)
#更新
#把名字为chen的修改成no1
sql = user.update().where(user.c.name == 'chen').values(name='no1')
conn.execute(sql)
conn.close()
结果：
mysql> select * from user;
+----+--------+
| id | name   |
+----+--------+
|  1 | no1    |
|  2 | kobe    |
|  3 | javk |
|  4 | yao    |
+----+--------+
4 rows in set (0.00 sec)

查询

注：请导入查询模块

from sqlalchemy import select 其余模块同上
#查询user表里的内容
sql = select([user, ])
res =conn.execute(sql)
print res.fetchall()
conn.close()
结果：
[(1L, 'no1'), (2L, 'no1'), (3L, 'yaoyao'), (4L, 'yao')]
#查询user表下的id
sql = select([user.c.id, ])
res =conn.execute(sql)
print res.fetchall()
conn.close()
结果:
[(1L,), (2L,), (3L,), (4L,)]
#查询user表和color表的name，条件是user表的id1=color的id1
sql = select([user.c.name, color.c.name]).where(user.c.id==color.c.id)
结果：
[('no1', 'liuyao'), ('no1', 'v1')]
#查询user表的name，并按照条件排序
#按照名字排序 
sql = select([user.c.name]).order_by(user.c.name)
res =conn.execute(sql)
print res.fetchall()
conn.close()
结果：
[('no1',), ('no1',), ('yao',), ('yaoyao',)]
#按照id排序
sql = select([user.c.name]).order_by(user.c.id)
res =conn.execute(sql)
print res.fetchall()
conn.close()
结果：
[('no1',), ('no1',), ('yaoyao',), ('yao',)]
#查询user表的name，并按照条件分组
sql = select([user]).group_by(user.c.name)
res =conn.execute(sql)
print res.fetchall()
conn.close()
结果：
[(1L, 'no1'), (4L, 'yao'), (3L, 'yaoyao')]
#按照id
结果：
[(1L, 'no1'), (2L, 'no1'), (3L, 'yaoyao'), (4L, 'yao')]

5）继承SqlORM类来操做数据库

#!/usr/bin/env python3
#coding:utf8
from sqlalchemy import create_engine
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String
from  sqlalchemy.orm import sessionmaker
Base = declarative_base() #生成一个SqlORM 基类
engine = create_engine("mysql+mysqldb://liuyao:liuyao@121.42.195.15:3306/liuyao",echo=True)
#echo若是为True，那么当他执行整个代码的数据库的时候会显示过程
#建立一个类继承Base基类
class Host(Base):
    #表名为hosts
    __tablename__ = 'hosts'
    #表结构
    #primary_key等于主键
    #unique惟一
    #nullable非空
    id = Column(Integer,primary_key=True,autoincrement=True)
    hostname = Column(String(64),unique=True,nullable=False)
    ip_addr = Column(String(128),unique=True,nullable=False)
    port = Column(Integer,default=22)

Base.metadata.create_all(engine) #建立全部表结构

if __name__ == '__main__':
    SessionCls = sessionmaker(bind=engine)
    #bind绑定
    #建立与数据库的会话session class 
    #注意,这里返回给session的是个class,不是实例 
    session = SessionCls()
    #插入字段
    h1 = Host(hostname='qd115',ip_addr='115.29.51.8')
    h2 = Host(hostname='ubuntu',ip_addr='139.129.5.191',port=80)
    h3 = Host(hostname='mysql',ip_addr='121.42.195.15',port=3306)
    #添加一个
    #session.add(h3)
    #能够添加多个字段
    session.add_all( [h1,h2,h3])
    #修改字段名字,只要没提交,此时修改也没问题
    #h2.hostname = 'ubuntu_test'
    #支持数据回滚
    #session.rollback()
    #提交
    session.commit()

结果：
mysql> select * from hosts;
+----+----------+---------------+------+
| id | hostname | ip_addr       | port |
+----+----------+---------------+------+
|  1 | qd115    | 115.29.51.8   |   22 |
|  2 | ubuntu   | 139.129.5.191 |   80 |
|  4 | mysql    | 121.42.195.15 | 3306 |
+----+----------+---------------+------+
3 rows in set (0.00 sec)

注：SQLAlchemy没法修改表结构，若是须要可使用SQLAlchemy开发者开源的另一个软件Alembic来完成。

6.继承类式增删改查：

使用 ORM/Schema Type/SQL Expression Language/Engine/ConnectionPooling/Dialect 全部组件对数据进行操做。根据类建立对象，对象转换成SQL，执行SQL。

Query对象能够返回可迭代的值(iterator value)，而后咱们能够经过for in来查询。不过Query对象的all()、one()以及first()方法将返回非迭代值(non-iterator value)，好比说all()返回的是一个列表first()方法限制并仅做为标量返回结果集的第一条记录：

1)先建立相关数据库

#!/usr/bin/env python
# -*- coding:utf-8 -*-
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String
from sqlalchemy.orm import sessionmaker
from sqlalchemy import create_engine
#建立数据库
engine = create_engine("mysql+mysqldb://liuyao:liuyao@121.42.195.15:3306/liuyao", max_overflow=5)
#生成一个SqlORM 基类
Base = declarative_base()   
#定义表结构
class User(Base):
    #表名
    __tablename__ = 'users'
    #定义id,主键惟一,
    id = Column(Integer, primary_key=True)
    name = Column(String(50))
#寻找Base的全部子类，按照子类的结构在数据库中生成对应的数据表信息
Base.metadata.create_all(engine)
#建立与数据库的会话session class ,注意,这里返回给session的是个class,不是实例
Session = sessionmaker(bind=engine)
session = Session()
#获取session，而后把对象添加到session，
#最后提交并关闭。Session对象可视为当前数据库链接。

2.增长

########### 增 ##########
#定义一个字段
zengjia = User(id=2, name='sbliuyao')
#添加字段
session.add(zengjia)
#添加多个字段
session.add_all([
    User(id=3, name='sbyao'),
    User(id=4, name='liuyao')
])
#提交以上操做
session.commit()

结果：
mysql> select * from users;
+----+----------+
| id | name     |
+----+----------+
|  2 | sbliuyao |
|  3 | sbyao    |
|  4 | liuyao   |
+----+----------+
3 rows in set (0.00 sec)

3.删除

# ########## 删除 ##########
#删除user表，id大于2的字段
session.query(User).filter(User.id > 2).delete()
session.commit()
结果：
mysql> select * from users;
+----+----------+
| id | name     |
+----+----------+
|  2 | sbliuyao |
+----+----------+
1 row in set (0.00 sec)

4.修改

因上次操做已经删除好多数据
请从新执行插入字段操做
session.add_all([
    User(id=3, name='sbyao'),
    User(id=4, name='liuyao'),
    User(id=5, name='mayun')
])
session.commit()
结果：
mysql> select * from users;
+----+----------+
| id | name     |
+----+----------+
|  2 | sbliuyao |
|  3 | sbyao    |
|  4 | liuyao   |
|  5 | mayun    |
+----+----------+
4 rows in set (0.00 sec)

在执行如下操做
#user表里的id等于2的字段修改成id=6
session.query(User).filter(User.id == 2).update({'id' : 6})
session.commit()
结果：
mysql> select * from users;
+----+----------+
| id | name     |
+----+----------+
|  3 | sbyao    |
|  4 | liuyao   |
|  5 | mayun    |
|  6 | sbliuyao |
+----+----------+
4 rows in set (0.00 sec)
其余方法：
#把user表里id大于2的name所有换成woshiyaoge
session.query(User).filter(User.id > 2).update({'name' :'woshiyaoge'})
session.commit()

mysql> select * from users;
+----+------------+
| id | name       |
+----+------------+
|  3 | woshiyaoge |
|  4 | woshiyaoge |
|  5 | woshiyaoge |
|  6 | woshiyaoge |
+----+------------+
4 rows in set (0.00 sec)

5.查询

数据库以下：
mysql> select * from users;
+----+------------+
| id | name       |
+----+------------+
|  3 | woshiyaoge |
|  4 | woshiyaoge |
|  5 | woshiyaoge |
|  6 | woshiyaoge |
|  7 | sbyao      |
|  8 | liuyao     |
|  9 | mayun      |
+----+------------+
7 rows in set (0.00 sec)

方式1：

#查询user表下面name=liuyao的字段
ret = session.query(User).filter_by(name='liuyao').all()
#打印实例
print ret
for i in ret:
#打印结果
print(i.id,i.name,)
结果：
[<__main__.User object at 0x0000000002F55860>]
(8L, 'liuyao')
这种查询方法能够返回一个User对象以及它的name属性字段的值。

方式2：
#查询user表里字段是name=liuyao的第一条数据
ret = session.query(User).filter_by(name='liuyao').first()
print ret.name
print ret.id
结果：
liuyao
8

方式3：
#查询user表里字段是name是liuyao或者mayun的信息打印出来
ret = session.query(User).filter(User.name.in_(['liuyao','mayun'])).all()
print ret
for i in ret:
    print(i.name,i.id)
结果：
[<__main__.User object at 0x00000000030F1E48>, <__main__.User object at 0x000000000311D8D0>]
('liuyao', 8L)
('mayun', 9L)

方式4：
#能够给返回的结果起一个别名，或者叫标签：无关紧要
ret = session.query(User.name.label('')).all()
print ret,type(ret)
这里的关键是label方法，它的意思是把User的name字段改个名字叫name_label，
其至关于执行如下的SQL语句：
SELECT users.name AS name_label
FROM users
结果：
[('woshiyaoge',), ('woshiyaoge',), ('woshiyaoge',), ('woshiyaoge',), ('sbyao',), ('liuyao',), ('mayun',)] <type 'list'>

方式5：
#查询User表根据id排序
ret = session.query(User).order_by(User.id).all()
print ret
for i in ret:
print(i.name)
结果：
[<__main__.User object at 0x00000000031978D0>, <__main__.User object at 0x0000000003197978>, <__main__.User object at 0x00000000031979E8>, <__main__.User object at 0x0000000003197A58>, <__main__.User object at 0x000000000316BE10>, <__main__.User object at 0x000000000316BE48>, <__main__.User object at 0x0000000003197940>]
woshiyaoge
woshiyaoge
woshiyaoge
woshiyaoge
sbyao
liuyao
mayun

方式6：
#查询user表里根据id排序输入0到3的字段
ret = session.query(User).order_by(User.id)[0:3]
print ret
for i in ret:
print(i.name)
结果：
[<__main__.User object at 0x00000000030F59E8>, <__main__.User object at 0x00000000030C9E80>, <__main__.User object at 0x00000000030C9C88>]
woshiyaoge
woshiyaoge
woshiyaoge
方式7：
# 建立Query查询，filter是where条件，最后调用one()返回惟一行，若是调用all()则返回全部行:
user = session.query(User).filter(User.id=='5').one()
#打印类型和对象的name属性:
print 'type:', type(user)
print 'name:', user.name

7.外键关联

因为关系数据库的多个表还能够用外键实现一对多、多对多等关联，相应地，ORM框架也能够提供两个对象之间的一对多、多对多等功能。

1）一对多(一个User能够有多个Address)

外键引用relationship()

例:
#!/usr/bin/env python3
#coding:utf8
#导入所需模块
from sqlalchemy import create_engine,func
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String,ForeignKey
from  sqlalchemy.orm import sessionmaker,relationship
#生成sqlorm基类
Base = declarative_base()
#建立数据库链接 
engine = create_engine("mysql+mysqldb://liuyao:liuyao@121.42.195.15:3306/liuyao", max_overflow=5)
#目的是一我的能够拥有多本书，那么在数据库里的一对多关系
class User(Base):
    #表名
    __tablename__ = 'user'
    #id字段
    id = Column(String(20), primary_key=True)
    #名字字段
    name = Column(String(20))
    # 一对多:#内容不是表名而是定义的表结构名字
    books = relationship('Book')
class Book(Base):
    #表面
    __tablename__ = 'book'
    #id字段
    id = Column(String(20), primary_key=True)
    #名字字段
    name = Column(String(20))
    # “多”的一方的book表是经过外键关联到user表的:
    #ForeignKey是外键 关联user表的id字段
    user_id = Column(String(20), ForeignKey('user.id'))
#建立所需表
Base.metadata.create_all(engine)

if __name__ == '__main__':
    #绑定,生成回话
    SessionCls = sessionmaker(bind=engine)
    session = SessionCls()
    #建立用户
    liuyao = User(id='1',name='liuyao')
    ali=User(id='2',name='ali')
    #添加字段
    session.add_all([liuyao,ali])
    #提交
    session.commit()
    #建立白鹿原这本书，指定谁是拥有者
    Whitedeer = Book(id='1',name='White_deer',user_id = '1')
    #建立三体这本书，指定谁是拥有者
    Threebody = Book(id='2',name='Three_body',user_id = '2')
    #添加字段
    session.add_all([Whitedeer,Threebody])
    #提交
    session.commit()

结果：

表：
mysql> show tables;
+------------------+
| Tables_in_liuyao |
+------------------+
| book             |
| user             |
+------------------+
 rows in set (0.00 sec)

user表：
mysql> select * from user;
+----+--------+
| id | name   |
+----+--------+
| 1  | liuyao |
| 2  | ali    |
+----+--------+
2 rows in set (0.00 sec)

book表#已经显示关联哪一个user表id
mysql> select * from book;
+----+------------+---------+
| id | name       | user_id |
+----+------------+---------+
| 1  | White_deer | 1       |
| 2  | Three_body | 2       |
+----+------------+---------+
2 rows in set (0.00 sec)

2）多对多

创建一个双向一对多关系,“反向”是一个许多人,指定一个额外的relationship()函数
并链接两个使用relationship.back_populates参数
简单来讲, relationship函数是sqlalchemy对关系之间提供的一种便利的调用方式, backref参数则对关系提供反向引用的声明。在最新版本的sqlalchemy中对relationship引进了back_populates参数。

先建立数据库：

#!/usr/bin/env python3
#coding:utf8
from sqlalchemy import Column, Sequence, String, Integer, ForeignKey
from sqlalchemy import create_engine # 导入建立链接驱动
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker
from sqlalchemy.orm import relationship, backref
# 这个url能够用urlparse解析, 其中echo=True表示执行时显示sql语句
engine = create_engine("mysql+mysqldb://liuyao:liuyao@121.42.195.15:3306/liuyao", max_overflow=5)
#生成了declarative基类, 之后的model继承此类
Base = declarative_base()
class Parent(Base):
    __tablename__ = 'parent'
    id = Column(Integer, primary_key=True)
    name = Column(String(64),unique=True,nullable=False)
    children = relationship("Child", back_populates="parent")
class Child(Base):
    __tablename__ = 'child'
    id = Column(Integer, primary_key=True)
    name = Column(String(64),unique=True,nullable=False)
    parent_id = Column(Integer, ForeignKey('parent.id'))
    parent = relationship("Parent", back_populates="children")
Base.metadata.create_all(engine) #建立全部表结构
if __name__ == '__main__':
SessionCls = sessionmaker(bind=engine)
#建立与数据库的会话session class ,注意,这里返回给session的是个class,不是实例
session = SessionCls()
mama = Parent(id='1',name='mamaxx')
baba = Parent(id='2',name='babaoo')
session.add_all([mama,baba])
# onesb = Child(id='1',name='onesb',parent_id='2')
# twosb = Child(id='2',name='twosb',parent_id='2')
#session.add_all([onesb,twosb])
session.commit()

3.）多对多之三表外键关联

#!/usr/bin/env python3
#coding:utf8
from sqlalchemy import create_engine,func,Table
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String,ForeignKey
from  sqlalchemy.orm import sessionmaker,relationship
Base = declarative_base()
#关系表
Host2Group = Table('host_2_group',Base.metadata,
               Column('host_id',ForeignKey('hosts.id'),primary_key=True),
               Column('group_id',ForeignKey('group.id'),primary_key=True),
               )
engine = create_engine("mysql+mysqldb://liuyao:liuyao@121.42.195.15:3306/liuyao", max_overflow=5)
class Host(Base):
    __tablename__ = 'hosts'
    id = Column(Integer,primary_key=True,autoincrement=True)
    hostname = Column(String(64),unique=True,nullable=False)
    ip_addr = Column(String(128),unique=True,nullable=False)
    port = Column(Integer,default=22)
    groups = relationship('Group',
                      secondary= Host2Group,
                      backref = 'host_list')
class Group(Base):
    __tablename__ = 'group'
    id = Column(Integer,primary_key=True)
    name = Column(String(64),unique=True,nullable=False)

if __name__ == '__main__':
    SessionCls = sessionmaker(bind=engine)
    session = SessionCls()
    g1 = Group(name='g1')
    g2 = Group(name='g2')
    g3 = Group(name='g3')
    g4 = Group(name='g4')
    session.add_all([g1,g2,g3,g4])
    session.commit()

以上部分摘自：http://www.cnblogs.com/liu-yao/p/5342656.html

老师的博客：http://www.cnblogs.com/alex3714/articles/5978329.html