MySQL大量写入问题优化方案 MySQL参数调优

Posted 2022-07-28 抓手

innodb_flush_log_at_trx_commit

innodb_flush_log_at_trx_commit是数据库的事务提交设置参数，默认为1。设置为0时，数据写入是最快的，但有可能丢失上1秒的数据。

0：log buffer每隔1s进行刷盘。当机器出现宕机时，最多丢失1s的事务
1：事务提交后立即进行log buffer刷盘。
2：mysql先将log buffer写入到os buffer，然后每隔1s将os buffer中的数据刷新到磁盘。

 

tmp_table_size、max_heap_table_size

tmp_table_size是临时表的内存缓存大小。
max_heap_table_size是MEMORY内存引擎的表大小，因为临时表也是属于内存表所以也会受此参数的限制，所以如果要增加tmp_table_size的大小也需要同时增加max_heap_table_size 

max_allowed_packet、net_buffer_length

max_allowed_packet是MySQL服务端和客户端在一次传送过程中最大允许的数据包大小，可以调到256M。
net_buffer_length用来控制连接缓冲区的初始大小，可以调到16M。

innodb_log_file_size、innodb_log_files_in_group、innodb_log_buffer_size

innodb_log_file_size事务日志的大小，可以调到1G（2核4G机器）。
innodb_log_files_in_group日志组数，可以调到4组（2核4G机器）。
innodb_log_buffer_size日志缓存大小，可以调到16M（2核4G机器）。

innodb_buffer_pool_size

innodb_buffer_pool_size时设置Innodb的可用缓存大小。理论上最大可以设置为服务器总内存的80%。

innodb_thread_concurrency

innodb_thread_concurrency控制并发线程数，建议是CPU核数的两倍。

write_buffer_size

write_buffer_size控制单个会话单次写入的缓存大小，默认值4K左右。在频繁大批量写入场景，可以尝试调整为2M。