Mysql 性能优化 ( my.cnf )

Posted 小怪兽的技术博客

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Mysql 性能优化 ( my.cnf )相关的知识,希望对你有一定的参考价值。


简介:

mysql 参数优化

一、Mysql 源码编译参数

shell > yum -y install gcc gcc-c++ make cmake ncurses-devel zlib-devel bison

shell > cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DMYSQL_DATADIR=/usr/local/mysql/data -DTMPDIR=/usr/local/mysql/data -DMYSQL_UNIX_ADDR=/usr/local/mysql/data/mysql.sock -DSYSCONFDIR=/etc/my.cnf -DWITH_MYISAM_STORAGE_ENGINE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1 -DWITH_FEDERATED_STORAGE_ENGINE=1 -DDEFAULT_CHARSET=utf8 -DEXTRA_CHARSETS=all -DDEFAULT_COLLATION=utf8_general_ci

##  -DCMAKE_INSTALL_PREFIX=/usr/local/mysql      指定 Mysql 安装路径
##  -DMYSQL_DATADIR=/usr/local/mysql/data          指定 Mysql 数据目录
##  -DTMPDIR=/usr/local/mysql/data                        指定 Mysql 临时目录
##  -DMYSQL_UNIX_ADDR                                      指定 Mysql socket
##  -DSYSCONFDIR=/etc/my.cnf                              指定 Mysql 配置文件
##  -DWITH_MYISAM_STORAGE_ENGINE=1             安装 MyISAM 存储引擎
##  -DWITH_INNOBASE_STORAGE_ENGINE=1          安装 Innodb 存储引擎
##  -DWITH_FEDERATED_STORAGE_ENGINE=1        安装 Federated 存储引擎
##  -DDEFAULT_CHARSET=utf8                               指定默认字符集为 utf8
##  -DEXTRA_CHARSETS=all                                   安装扩展字符集
##  -DDEFAULT_COLLATION=utf8_general_ci            默认排序规则 utf8_general_ci

Cmake 参数:http://dev.mysql.com/doc/refman/5.6/en/source-configuration-options.html

---------------------------------------------------------------------------------------------

二、my.cnf 配置文件

## global_buffers 在内存中缓存从数据文件中检索出来的数据块,可以大大提高查询和更新数据的性能

## 计算公式:Innodb_buffer_pool_size + Innodb_additional_mem_pool_size + Innodb_log_buffer_size + key_buffer_size + query_cache_size

## per_thread_buffers 线程独享内存大小

## 计算公式( read_buffer_size + read_rnd_buffer_size + sort_buffer_size + thread_stack + join_buffer_size + binlog_cache_size )* max_connections

## 注意:global_buffers + per_thread_buffers 不能大于实际物理内存,否者并发量大时会造成内存溢出、系统死机 !

[client]
port = 3306
socket = /usr/local/mysql/data/mysql.sock

## 定义客户端连接信息,端口号、socket 存放位置

[mysqld]
port = 3306
socket = /usr/local/mysql/data/mysql.sock
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
temdir = /usr/local/mysql/data

## Mysql 基本信息,端口号、socket、安装目录、数据存放目录、临时目录

# skip-name-resolve

## 禁止 Mysql 对外部连接进行 DNS 解析,加快连接速度。开启后所有远程连接主机只能使用 IP 的方式

skip_external_locking

## 避免 Mysql 外部锁定,减少出错几率、增强稳定性

local-infile = 0

## 禁止 SQL 读取本地文件

character-set-server = utf8

## 默认字符集 utf8

default-storage-engine = innodb

## 默认存储引擎

# general_log = on

## 开启查询日志,一般选择不开启,因为查询日志记录很详细,会增大磁盘 IO 开销,影响性能

# general_log_file = /usr/local/mysql/data/mysql.log

## 查询日志存放位置及文件名

log-error = /usr/local/mysql/data/error.log

## 错误日志位置跟文件名

# slow_query_log = on

## 开启慢查询日志,开启后将会记录执行时间超过 long_query_time 参数值的 SQL 语句( 一般临时开启即可 )

# long_query_time = 2

## 定义执行时间超过多少秒为慢查询,默认 10s

# slow_query_log_file = /usr/local/mysql/data/slow.log

## 定义慢查询日志存放位置

# server-id = 1

## Mysql Server 唯一标识,用来做主同同步( 主从时开启 )

log-bin = mysql-bin

## 开启 binlog ( 二进制 ) 日志,主要用来做增量备份跟主从同步

binlog_format = mixed

## Mysql binlog 的日志格式,Statement、ROW 跟 Mixed( 混合模式 )

binlog_cache_size = 2M

## 二进制日志缓冲大小,此参数是为每 Session 单独分配的,当一个线程开始一个事务时,Mysql 就会为此 Session 分配一个 binlog cache,当这个事务提交时,binlog cache 中的数据被写入 binlog 文件
## 通过 show status like binlog_cache%; 来查看使用 binlog cache 的次数及使用磁盘的次数

sync_binlog = 0

## 这个参数对 Mysql 系统来说很重要,不仅影响到 binlog 对 Mysql 所带来的性能损耗,还影响到 Mysql 中数据的完整性。
## 值为 0 时代表事务提交后,Mysql 不做 fsync 之类的磁盘同步指令刷新 binlog_cache 中的信息到磁盘,而让 Filesystem 自行决定什么时候同步,或者 cache 满了之后才同步磁盘。
## 值为 n 时代表进行 n 次事务提交后,Mysql 将进行一次 fsync 之类的磁盘同步指令来将 binlog_cache 中的数据强制写入磁盘。
## 系统默认将此参数设置为 0 ,即不做任何强制性的磁盘刷新指令,性能最好,但是风险也最大。当系统崩溃时 binlog_cache 中的所有 binlog 信息都会丢失。
## 而设置为 1 时,是最安全但是性能损耗最大。当系统崩溃时,最多丢失 binlog_cache 中未完成的一个事务,对实际数据没有实质性的影响。

expire_logs_days = 30

## 保留 30 天的 binlog 日志,系统重启、执行 flush logs 或 binlog 日志文件大小达到上限时删除 binlog 日志

back_log = 500

## Mysql 连接请求队列存放数,当某一时刻客户端连接请求过多,造成 Mysql Server 无法为其建立连接时存放的数量,最大 65535( 增大时需同时调整 OS 级别的网络监听队列限制 )

max_connections = 1000

## Mysql 最大连接数,直接影响 Mysql 应用的并发处理能力( 500~1000 是个比较合适的值,注意每建立的连接都会占用一定的内存空间,直到连接被关闭才释放内存 )

wait_timeout = 100
interactive_timeout = 100

## 服务器关闭非交换连接之前等待活动的秒数,默认 28800 秒( 注意:在 my.cnf 中修改这个参数需要配合 interactive_timeout (超时间隔)参数一起修改,否则不生效)
##( Mysql 处理完一条连接后所等待释放的时间,如果并发很高,默认设置会导致最大连接被占满,出现 "too many connections" 错误 )
##( 如果这个值很低,比如 5 ,可能会导致出现 "ERROR 2006 (HY000) MySQL server has gone away" 的错误,出现这个错误还有可能是 max_allowed_packet 设置过小 )
## 真实案例

max_connect_errors = 1000

## 最大连接失败次数,跟性能没有太大关系,主要跟安全方面有关( 达到此上限后会无条件阻止其连接数据库 ,默认 100 )

connect_timeout = 20

## 连接超时时间为 20 秒

max_allowed_packet = 16M

## 网络传输中一次消息量的最大值,默认 4M ,必须设为 1024 的整倍数

table_open_cache = 2000

## 打开文件描述符的缓存个数,防止系统频繁打开、关闭描述符而浪费资源( 对性能有影响,默认 2000 )

read_buffer_size = 512K

## Mysql 读入缓冲区大小,对表进行顺序扫描的请求将分配一个读入缓冲区,Mysql 会为其分配一段内存缓冲区( 默认 128K ,此参数为每线程分配 )

read_rnd_buffer_size = 512K

## Mysql 随机 Query 缓冲区大小,当按任意顺序读取行时,将分配一个随机读取缓冲区。如进行排序查询时,Mysql 会首先扫描该缓冲,避免磁盘搜索,提高查询速度( 默认 256K ,该缓冲也是为每线程分配 )

sort_buffer_size = 512K

## 系统中对数据进行排序时使用的 buffer ,如果系统中排序比较大,且内存充足、并发不大时,可以适当增大此值( 默认 256K ,此参数为每线程分配独立的 buffer )

join_buffer_size = 512K

## join 为 ALL、index、rang 或 index_merge 时使用的 buffer( 默认 256K ,每 Thread 都会建立自己独立的 buffer )

thread_stack = 256K

## 参数表示每线程的堆栈大小

thread_cache_size = 64

## Thread Cache 池中存放的连接线程数( 此池中的线程不是启动服务时就创建的,而是随着连接线程的创建和使用,逐渐将用完的线程存入其中,达到此值后将不再缓存连接线程 )
## 缓存命中率计算公式:Thread_Cache_Hit = ( Connections - Thread_created ) / Connections * 100%
## 系统运行一段时间后,Thread Cache 命中率应该保持在 90% 以上

explicit_defaults_for_timestamp = 1

## 如果此参数不开启,error_log 中会有警告信息

query_cache_type = 1

## 是否启用 query_cache ,0 为不使用( 若要关闭 query_cache 时,需同时将 query_cache_size 、query_cache_limit 设为 0 )

query_cache_size = 32M

## 查询缓冲大小,当重复查询时会直接从该缓冲中获取,但是当所查询表有改变时,缓冲的查询将失效( 频繁写入、更新、高并发的环境下建议关闭此缓冲 )

query_cache_limit = 1M

## 单个查询所能够使用的缓冲区大小

ft_min_word_len = 1

## 使用全文索引最小长度

transaction_isolation = REPEATABLE-READ

## 事务隔离级别,为了有效保证并发读取数据的正确性( 默认 Repeatables Read 即:可重复读 )
## Innodb 有四种隔离级别:Read Uncommitted( 未提交读 )、Read Committed( 已提交读 )、Repeatable Read( 可重复读 )、Serializable( 可序列化 )

tmp_table_size = 32M

## 临时表大小

key_buffer_size = 32M

## 用来缓存 MyISAM 存储引擎的索引( 默认 8M ,如果使用 Innodb 存储引擎,此值设为 64M 或更小 )
## 计算公式:key_reads / key_read_requests * 100% 的值小于 0.1%

## Innodb 存储引擎相关参数

innodb_file_per_table = 0

## 关闭独享表空间,使用共享表空间

innodb_buffer_pool_size = 256M

## Innodb 存储引擎核心参数,用于缓存 Innodb 表的索引、数据( 默认 128M ,单独使用 Innodb 存储引擎且单一 Mysql 服务时建议设为物理内存的 70% - 80 % )
## 可以通过 show status like innodb_buffer_pool_%; 来获取 innodb buffer pool 的实时状态信息
## Innodb_buffer_pool_pages_total 总共的 pages( Innodb 存储引擎中所有数据存放最小物理单位 page ,每个 page 默认为 16KB )
## Innodb_buffer_pool_pages_free  空闲的 pages
## Innodb_buffer_pool_pages_data  有数据的 pages
## Innodb_buffer_pool_read_requests  总共的 read 请求次数
## Innodb_buffer_pool_reads  读取物理磁盘读取数据的次数,即:在 buffer pool 中没有找到
## Innodb_buffer_pool_wait_free  因 buffer 空间不足而产生的 wait_free
## Innodb_buffer_pool_read_ahead_rnd  记录进行随机读的时候产生的预读次数
## Innodb_buffer_pool_read_ahead_seq  记录连续读的时候产生的预读次数
## Innodb_buffer_pool_size  使用率 = innodb_buffer_pool_pages_data / innodb_buffer_pool_pages_total * 100%
## Innodb_buffer_pool_read  命中率 = ( innodb_buffer_pool_read_requests - innodb_buffer_pool_reads )/ innodb_buffer_pool_read_requests * 100%

innodb_use_sys_malloc = 1

## 使用系统自带的内存分配器,替代 innodb_additional_mem_pool_size 参数

innodb_data_file_path = ibdata1:512M:autoextend

## 指定一个大小为 512M 的、可扩展的 ibdata1 数据文件

innodb_read_io_threads = 4
innodb_write_io_threads = 4

## Innodb 使用后台线程处理数据页上的 IO 请求,根据 CPU 核数修改,默认 4

innodb_thread_concurrency = 0

## Innodb 线程并发数,0 为不限制,默认 0

innodb_flush_log_at_trx_commit = 2

## Innodb 事务日志刷新方式,0 为每隔一秒 log thread 会将 log buffer 中的数据写入到文件,并通知文件系统进行文件同步 flush 操作,极端情况下会丢失一秒的数据
## 1 为每次事务结束都会触发 log thread 将 log buffer 中的数据写入文件并通知文件系统同步文件,数据最安全、不会丢失任何已经提交的数据
## 2 为每次事务结束后 log thread 会将数据写入事务日志,但只是调用了文件系统的文件写入操作,并没有同步到物理磁盘,因为文件系统都是有缓存机制的,各文件系统的缓存刷新机制不同
## 当设为 1 时是最为安全的,但性能也是最差的。0 为每秒同步一次,性能相对高一些。设为 2 性能是最好的,但故障后丢失数据也最多( OS 跟主机硬件、供电足够安全可以选择,或对数据少量丢失可以接受 )。

innodb_log_buffer_size = 8M

## 事务日志所使用的缓冲区。Innodb 在写事务日志时,为了提高写 Log 的 IO 性能,先将信息写入 Innodb Log Buffer 中,当满足 Innodb_flush_log_trx_commit 参数或日志缓冲区写满时,再将日志同步到磁盘中。
## 默认 8M ,一般设为 16~64M 即可,可以通过 show status like innodb_log%; 查看状态

innodb_buffer_pool_dump_at_shutdown = 1

## 关闭数据库时把热数据 dump 到本地磁盘。

innodb_buffer_pool_dump_now = 1

## 采用手工方式把热数据 dump 到本地磁盘。

innodb_buffer_pool_load_at_startup = 1

## 启动时把热数据加载到内存。

innodb_buffer_pool_load_now = 1

## 采用手工方式把热数据加载到内存。

## 以上四条参数会快速预热 Buffer_pool 缓冲池,当机器正常重启后,热数据还保留在内存中,避免瞬间连接数爆满导致机器死机。

[mysqldump]
quick
max_allowed_packet = 4M

## 使用 mysqldump 工具备份数据库时,当某张表过大时备份会报错,需要增大该值( 增大到大于表大小的值 )

 

以上是关于Mysql 性能优化 ( my.cnf )的主要内容,如果未能解决你的问题,请参考以下文章

mysql性能优化之优化配置my.cnf文件

mysql服务性能优化—my.cnf配置说明详解

mysql服务性能优化—my.cnf配置说明详解

mysql服务性能优化—my.cnf_my.ini配置说明详解(16G内存)

mysql性能优化之服务器参数配置-内存配置

性能优化系列八:MYSQL的配置优化