数据库连接池(DBUtils)

Posted QAQ

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据库连接池(DBUtils)相关的知识,希望对你有一定的参考价值。

DButils是python的一个实现数据库连接池的模块

  两种模式:

  1.为每一个线程创建一个链接,即使线程即使调用了close()方法,也不会关闭,只是把线程放到连接池,供自己再次使用,当连接关闭时,线程连接自动关闭。

from DBUtils.PersistentDB import PersistentDB
import pymysql
PooL = PersistentDB(
    creator = pymysql,  #使用链接数据库的模块
    maxusage = None, #一个链接最多被使用的次数,None表示无限制
    setsession = [], #开始会话前执行的命令
    ping = 0, #ping MySQL服务端,检查服务是否可用
    closeable = False, #conn.close()实际上被忽略,供下次使用,直到线程关闭,自动关闭链接,而等于True时,conn.close()真的被关闭
    threadlocal = None, # 本线程独享值的对象,用于保存链接对象
    host = 127.0.0.1,
    port = 3306,
    user = root,
    password = xxx,
    database = xxx,
    charset = utf8
)
def func():
    conn = PooL.connection()
    cursor = conn.cursor()
    cursor.execute(select * from book)
    result = cursor.fetchall()
    print(result)
    cursor.close()
    conn.close()
import threading
for i in range(5):
    t = threading.Thread(target=func)
    t.start()

2.创建一批连接到连接池,供所有线程共享使用

  注意:由于pymysql,mysqlDB中的threadsafety值为1,所有线程共享连接

import time
import pymysql
import threading
from DBUtils.PooledDB import PooledDB,SharedDBConnection

POOL = PooledDB(
    creator = pymysql, #使用链接数据库的模块
    maxconnections = 6,  #连接池允许的最大连接数,0和None表示没有限制
    mincached = 2, #初始化时,连接池至少创建的空闲的连接,0表示不创建
    maxcached = 5, #连接池空闲的最多连接数,0和None表示没有限制
    maxshared = 3, #连接池中最多共享的连接数量,0和None表示全部共享,ps:其实并没有什么用,因为pymsql和MySQLDB等模块中的threadsafety都为1,所有值无论设置多少,_maxcahed永远为0,所以永远是所有链接共享
    blocking = True, #链接池中如果没有可用共享连接后,是否阻塞等待,True表示等待,False表示不等待然后报错
    setsession = [],#开始会话前执行的命令列表
    ping = 0,#ping Mysql 服务端,检查服务是否可用
    host = 127.0.0.1,
    port = 3306,
    user = root,
    password = xxx,
    database = xxx,
    charset = utf8
)
def func():
    #检测当前正在运行的连接数是否小于最大的连接数,如果不小于则等待连接或者抛出raise TooManyConnections异常
    #否则优先去初始化时创建的连接中获取连接SteadyDBConnection
    #然后将SteadyDBConnection对象封装到PooledDedicatedDBConnection中并返回
    #如果最开始创建的连接没有链接,则去创建SteadyDBConnection对象,再封装到PooledDedicatedDBConnection中并返回
    #一旦关闭链接后,连接就返回到连接池让后续线程继续使用
    conn = POOL.connection()
    cursor = conn.cursor()
    cursor.execute(select * from book)
    result = cursor.fetchall()
    print(result)
    conn.close()
func()

PS:关于pymysql模块,如果没有单线程的情况,连接MySQL数据库没有问题,但如果要是多线程,就需要加锁,一旦加锁,后面的线程就得等待,势必会降低使用效率。

加锁
import
pymysql import threading from threading import RLock LOCK = RLock() CONN = pymysql.connect(host=127.0.0.1, port = 3306, user = root, password = xxx, database = xxx, charset = utf8 ) def task(arg): with LOCK: cursor = CONN.cursor() cursor.execute(select * from book) result = cursor.fetchall() cursor.close() print(result) for i in range(10): t = threading.Thread(target=task,args=(i,)) t.start()
不加锁
import pymysql
import threading
CONN = pymysql.connect(host=127.0.0.1,
                       port=3306,
                       user=root,
                       password=xxx,
                       database=ok1,
                       charset=utf8)

def task(arg):
    cursor = CONN.cursor()
    cursor.execute(select * from book)
    result = cursor.fetchall()
    cursor.close()
    print(result)
for i in range(10):  #1时不会报错
    t = threading.Thread(target=task, args=(i,))
    t.start()

 

自定义helper,使用模式2连接池操作数据库

import pymysql


def connect(): conn = POOL.connection() cursor = conn.cursor(cursor=pymysql.cursors.DictCursor) # 结果为字典 return conn,cursor def connect_close(conn,cursor): cursor.close() conn.close() def fetch_all(sql,args): conn,cursor = connect() cursor.execute(sql, args) record_list = cursor.fetchall() connect_close(conn,cursor) return record_list def fetch_one(sql, args): conn, cursor = connect() cursor.execute(sql, args) result = cursor.fetchone() connect_close(conn, cursor) return result def insert(sql, args): conn, cursor = connect() row = cursor.execute(sql, args) conn.commit() connect_close(conn, cursor) return row

 


 





以上是关于数据库连接池(DBUtils)的主要内容,如果未能解决你的问题,请参考以下文章

数据库——DBUtils和连接池

DBUtils和连接池

Java基础学习笔记二十七 DBUtils和连接池

Flask:wtforms组件 & 数据库连接池 DBUtils

数据库连接池(DBUtils)

Python数据库连接池DBUtils