数据库链接池(DBUtils)

DButils是python的一个实现数据库链接池的模块

　　两种模式：

　　1.为每个线程建立一个连接，即便线程即便调用了close()方法，也不会关闭，只是把线程放到链接池，供本身再次使用，当链接关闭时，线程链接自动关闭。

from DBUtils.PersistentDB import PersistentDB
import pymysql
PooL = PersistentDB(
    creator = pymysql,  #使用连接数据库的模块
    maxusage = None, #一个连接最多被使用的次数，None表示无限制
    setsession = [], #开始会话前执行的命令
    ping = 0, #ping MySQL服务端,检查服务是否可用
    closeable = False, #conn.close()实际上被忽略，供下次使用，直到线程关闭，自动关闭连接，而等于True时，conn.close()真的被关闭
    threadlocal = None, # 本线程独享值的对象，用于保存连接对象
    host = '127.0.0.1',
    port = 3306,
    user = 'root',
    password = 'xxx',
    database = 'xxx',
    charset = 'utf8'
)
def func():
    conn = PooL.connection()
    cursor = conn.cursor()
    cursor.execute('select * from book')
    result = cursor.fetchall()
    print(result)
    cursor.close()
    conn.close()
import threading
for i in range(5):
    t = threading.Thread(target=func)
    t.start()

2.建立一批链接到链接池，供全部线程共享使用

　　注意：因为pymysql,mysqlDB中的threadsafety值为1，全部线程共享链接

import time
import pymysql
import threading
from DBUtils.PooledDB import PooledDB,SharedDBConnection

POOL = PooledDB(
    creator = pymysql, #使用连接数据库的模块
    maxconnections = 6,  #链接池容许的最大链接数，0和None表示没有限制
    mincached = 2, #初始化时，链接池至少建立的空闲的链接，0表示不建立
    maxcached = 5, #链接池空闲的最多链接数，0和None表示没有限制
    maxshared = 3, #链接池中最多共享的链接数量，0和None表示所有共享，ps:其实并无什么用，由于pymsql和MySQLDB等模块中的threadsafety都为1，全部值不管设置多少，_maxcahed永远为0，因此永远是全部连接共享
    blocking = True, #连接池中若是没有可用共享链接后，是否阻塞等待，True表示等待，False表示不等待而后报错
    setsession = [],#开始会话前执行的命令列表
    ping = 0,#ping Mysql 服务端，检查服务是否可用
    host = '127.0.0.1',
    port = 3306,
    user = 'root',
    password = 'xxx',
    database = 'xxx',
    charset = 'utf8'
)
def func():
    #检测当前正在运行的链接数是否小于最大的链接数，若是不小于则等待链接或者抛出raise TooManyConnections异常
    #不然优先去初始化时建立的链接中获取链接SteadyDBConnection
    #而后将SteadyDBConnection对象封装到PooledDedicatedDBConnection中并返回
    #若是最开始建立的链接没有连接，则去建立SteadyDBConnection对象，再封装到PooledDedicatedDBConnection中并返回
    #一旦关闭连接后，链接就返回到链接池让后续线程继续使用
    conn = POOL.connection()
    cursor = conn.cursor()
    cursor.execute('select * from book')
    result = cursor.fetchall()
    print(result)
    conn.close()
func()

PS：关于pymysql模块，若是没有单线程的状况，链接MySQL数据库没有问题，但若是要是多线程，就须要加锁，一旦加锁，后面的线程就得等待，势必会下降使用效率。

加锁
import pymysql
import threading
from threading import RLock
LOCK = RLock()
CONN = pymysql.connect(host='127.0.0.1',
                       port = 3306,
                       user = 'root',
                       password = 'xxx',
                       database = 'xxx',
                       charset = 'utf8'
                       )
def task(arg):
    with LOCK:
        cursor = CONN.cursor()
        cursor.execute('select * from book')
        result = cursor.fetchall()
        cursor.close()
        print(result)
for i in range(10):
    t = threading.Thread(target=task,args=(i,))
    t.start()

不加锁
import pymysql
import threading
CONN = pymysql.connect(host='127.0.0.1',
                       port=3306,
                       user='root',
                       password='xxx',
                       database='ok1',
                       charset='utf8')

def task(arg):
    cursor = CONN.cursor()
    cursor.execute('select * from book')
    result = cursor.fetchall()
    cursor.close()
    print(result)
for i in range(10):  #1时不会报错
    t = threading.Thread(target=task, args=(i,))
    t.start()

 

自定义helper,使用模式2链接池操做数据库

import pymysql


def connect():
    conn = POOL.connection()
    cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)           # 结果为字典
    return conn,cursor

def connect_close(conn,cursor):
    cursor.close()
    conn.close()

def fetch_all(sql,args):
    conn,cursor = connect()

    cursor.execute(sql, args)
    record_list = cursor.fetchall()
    connect_close(conn,cursor)

    return record_list

def fetch_one(sql, args):
    conn, cursor = connect()
    cursor.execute(sql, args)
    result = cursor.fetchone()
    connect_close(conn, cursor)

    return result

def insert(sql, args):
    conn, cursor = connect()
    row = cursor.execute(sql, args)
    conn.commit()
    connect_close(conn, cursor)
    return row