python 基础 9.5 数据库连接池

Posted 2020-10-15 刘振川的博客

 

一. 数据库连接池

   python 编程中可以使用MySQLdb 进行数据库的连接及诸如查询，插入，更新等操作，但是每次连接mysql 数据库请求时，都是独立的去请求访问，相当浪费资源，而且访问数量达到一定书力量时，对mysql的性能会产生较大的影响。因此，实际使用中，通常会使用数据库的连接池技术，来访问数据库达到资源复用的目的。

 

 

python 的数据库连接池包  DBUtils：

DBUtils 是一套python 数据库连接池包，并允许对非线程安全的数据库接口进行线程安全包装。DBUtils 来自 Webware for  pthon

 

DBUtils 提供两种外部接口：

* PersistentDB:提供线程专用的数据库连接，并自动管理连接。

*PooledDB: 提供线程间可共享的数据库连接，并自动管理连接。

下载地址：https://pypi.python.org/pypi/DBUtils/  下载解压后，使用python setup.py install 命令进行安装

或者使用：pip install DBUtils

 

 

#/usr/bin/python

#-*- coding:utf-8 -*-

#@Time   :2017/11/22 15:43

#@Auther :liuzhenchuan

#@File   :数据库连接池.py

 

import MySQLdb

from DBUtils.PooledDB import PooledDB

 

db_config= {

    \'host\':\'192.168.10.199\',

    \'port\':3306,

    \'user\':\'root\',

    \'passwd\':\'123123\',

    \'db\':\'python\',

    \'charset\':\'utf8\'

}

pool = PooledDB(creator=MySQLdb,mincached=5,blocking=True,**db_config)

 

if __name__ == \'__main__\':

    cnx = pool.connection()

    cus = cnx.cursor()

    SQL = \'select *from test;\'

    try:

        cus.execute(SQL)

        result = cus.fetchall()

        print result

        cus.close()

        cnx.commit

    except Exception as e:

        raise e

    finally:

        cnx.close()

 

 

>>>

((100L,), (99L,), (95L,), (95L,), (98L,), (97L,), (96L,), (95L,), (100L,), (101L,), (102L,), (103L,), (104L,), (105L,), (106L,), (107L,), (108L,), (109L,), (110L,), (111L,), (112L,), (113L,), (114L,), (115L,), (116L,), (117L,), (118L,), (119L,), (120L,), (121L,), (122L,), (123L,), (124L,), (125L,), (126L,), (127L,), (128L,), (129L,))

 

 

参数说明：

pool = PooledDB(MySQLdb,5, **db_config)  #5 为连接池里的最少连接数

 

cnx = pool.connection()   # 以后每次需要数据库连接就是用connection() 函数获取连接就好了

cus = cnx.cursor()

cus = cnx.cursor()

SQL = \'select *from test;\'

try:

  cus.execute(SQL)

   result = cus.fetchall()

   print result

   cus.close()

   cnx.commit

 

PooledDB 的参数：

1.mincached,最少的空闲连接数，如果空闲连接数小于这个数，pool 会创建一个新的连接

2.maxcached,最大的空闲连接数，如果空闲连接数大于这个数，pool 会关闭空闲连接

3.maxconnections,最大的连接数。

4.blocking，当链接数达到最大的链接数时，在请求连接的时候，如果这个值是True，请求连接的程序会一直等待，直到当前连接数小于最大连接数，如果这个值是Flase，会报错

5.maxshared 当连接数达到这个数，新请求的链接会分享已经分配出去的链接。

 

在uwsgi 中，每个httpd请求都会分发给一个进程，连接池中配置的链接数都是一个进程为单位的（即上面的最大连接数，都是在一个进程中的链接数），而如果业务中，一个httpd请求中需要的sql连接数不是很多的话（其实大多数都只需要创建一个连接），配置的链接数配置都不需要太大。

 

连接池对性能的提升变现在：

1.在程序创建连接的时候，可以从一个空闲的链接中获取，不需要重新初始化连接，提升获取链接的速度

2.关闭连接的时候，把链接放回连接池，而不是真的关闭，所以可以减少频繁的打开和关闭连接