Pymysql 连接池操作

Posted 2021-04-06 AI科技时讯

问题

在用python写后端服务时候，需要与mysql数据库进行一些数据查询或者插入更新等操作。启动服务后接口运行一切正常，
隔了第二天去看服务日志就会报错，问题如下：

pymysql.err.OperationalError: (2006, "MySQL server has gone away (BrokenPipeError(32, 'Broken pipe'))")

MySQL默认的wait_timeout时间28800秒，即8小时，超过8小时，MySQL就会放弃连接。MySQL默认设置的时间是8小时，可以通过运行show variables like ‘%timeout%’;这个SQL即可查看到，时间根据自己业务而定。

因此，当第二天早上前端调用接口时候，mysql连接失败，无法获取数据或者更新数据。

解决办法

• 1.修改MySQL默认的wait_timeout时间，更改为24小时；但治标不治本，长时间占用连接，总会有把mysql连接占满，导致其它的请求连接无法进行；

• 2.使用连接池的方式，自定义执行SQL，只需要在每次操作前，从连接池中连接，操作数据结束后，关闭连接即可。

代码

最终采用连接池的方式避免出现这种问题，写一个操作数据库的工具函数，后续需要处理的时候直接调用即可。

定义连接池：

import osimport pymysqlimport configparserfrom DBUtils.PooledDB import PooledDB

MODULE_REAL_DIR = os.path.dirname(os.path.realpath(__file__))
config = configparser.ConfigParser()config.read(MODULE_REAL_DIR + '/../conf/config.conf')
host = config.get('MYSQL_FORMAL_DB', 'host')user = config.get('MYSQL_FORMAL_DB', 'user')pwd = config.get('MYSQL_FORMAL_DB', 'pwd')db = config.get('MYSQL_FORMAL_DB', 'db')
POOL = PooledDB( creator=pymysql, # 使用链接数据库的模块 maxconnections=6, # 连接池允许的最大连接数，0和None表示不限制连接数 mincached=2, # 初始化时，链接池中至少创建的空闲的链接，0表示不创建 maxcached=5, # 链接池中最多闲置的链接，0和None不限制 maxshared=1, # 链接池中最多共享的链接数量，0和None表示全部共享 blocking=True, # 连接池中如果没有可用连接后，是否阻塞等待。True，等待；False，不等待然后报错 maxusage=None, # 一个链接最多被重复使用的次数，None表示无限制 setsession=[], # 开始会话前执行的命令列表。如：["set datestyle to ...", "set time zone ..."] ping=0, # ping MySQL服务端，检查是否服务可用。 # 如：0 = None = never, # 1 = default = whenever it is requested, # 2 = when a cursor is created, # 4 = when a query is executed, # 7 = always host=host, port=3306, user=user, password=pwd, database=db, charset='utf8')

定义基本操作：

from db_utils import POOLimport pymysql

def create_conn(): conn = POOL.connection() # cursor = conn.cursor(pymysql.cursors.DictCursor) cursor = conn.cursor() return conn, cursor

def close_conn(conn, cursor): conn.close() cursor.close()

def select_one(sql, args): conn, cur = create_conn() try: cur.execute(sql, args) result = cur.fetchone() close_conn(conn, cur) return result except Exception as e: print("select one except ", args) close_conn(conn, cur) return None

def select_all(sql, args): conn, cur = create_conn() try: cur.execute(sql, args) result = cur.fetchall() close_conn(conn, cur) return result except Exception as e: print("select all except ", args) close_conn(conn, cur) return None

def insert_one(sql, args): conn, cur = create_conn() try: result = cur.execute(sql, args) conn.commit() close_conn(conn, cur) return True except Exception as e: print("insert except ", args) conn.rollback() close_conn(conn, cur) return False

def delete_one(sql, args): conn, cur = create_conn() try: result = cur.execute(sql, args) conn.commit() close_conn(conn, cur) return True except Exception as e: print("delete except ", args) conn.rollback() close_conn(conn, cur) return False
def update_one(sql, args): conn, cur = create_conn() try: result = cur.execute(sql, args) conn.commit() close_conn(conn, cur) return True except Exception as e: print("update except ", args) conn.rollback()    return False

参考

• https://www.coder.work/article/500786

• https://www.jianshu.com/p/53262bb292e5

• https://blog.51cto.com/lookingdream/2449109

• https://blog.csdn.net/jacke121/article/details/79852146

• https://blog.csdn.net/u010939285/article/details/71088145

• https://www.letianbiji.com/python/python-pymysql.html