mysql5.6使用sysbench调优性能提高108%

Posted 2020-09-03

我使用的是saltstack源码编译安装mysql5.6，具体怎么安装直接百度就可以了，一大堆都是。下面我们来讲一下我们的重点，mysql的优化，优化分为硬件和软件，硬件，这个当然就是你机器的配置了，当然是越高越好，我的机器配置8c+16g. 压测工具sysbench。

这个是之前参照一个网友的配置做的优化：

[client]

#password= your_password

port= 3306

socket= /tmp/mysql.sock

[mysqld]

port= 3306

socket= /tmp/mysql.sock

skip-external-locking

max_allowed_packet = 32M

table_open_cache = 4096

net_buffer_length = 1M

character-set-server = utf8

skip-name-resolve

ft_min_word_len = 4

sha256_password_private_key_path=mykey.pem

sha256_password_public_key_path=mykey.pub

tmpdir = /tmp

innodb_use_sys_malloc =0

default-storage-engine=INNODB 

default-tmp-storage-engine=INNODB

open_files_limit = 65535

max_connections = 5000

max_connect_errors = 6000

thread_stack = 192K

transaction_isolation = REPEATABLE-READ

tmp_table_size = 256M

max_heap_table_size = 256M

slow_query_log

long_query_time = 1

slow_query_log_file = /usr/local/mysql/slow-log.log

net_buffer_length = 10M

log-error=/usr/local/mysql/mysqld.err

back_log = 1024

max_binlog_cache_size = 1G

max_binlog_size = 512M

binlog_format=mixed

expire_logs_days = 7

####  buffer && cache  ####

tmp_table_size = 256M

read_buffer_size = 2M

read_rnd_buffer_size = 32M

sort_buffer_size = 2M

join_buffer_size = 32M

thread_cache_size = 64

thread_cache = 1024

thread_concurrency = 8

query_cache_size = 64M

query_cache_limit = 4M

binlog_cache_size = 4M

key_buffer_size = 2M

bulk_insert_buffer_size = 64M

myisam_sort_buffer_size = 128M

myisam_max_sort_file_size = 1024G

myisam_repair_threads = 1

myisam_recover

log-bin=mysql-bin

server-id= 1 

slave-skip-errors=all

innodb_data_home_dir = /usr/local/mysql/data

innodb_data_file_path = ibdata1:10M:autoextend

innodb_log_group_home_dir = /usr/local/mysql/data

innodb_buffer_pool_size = 2G

innodb_additional_mem_pool_size = 16M

innodb_log_file_size = 150M

innodb_log_buffer_size = 16M

innodb_flush_log_at_trx_commit =2

innodb_lock_wait_timeout = 60

innodb_flush_method = O_DIRECT

innodb_open_files  =   65535

innodb_io_capacity = 10000

innodb_io_capacity_max = 65535

innodb_lru_scan_depth = 10000

innodb_thread_concurrency = 0

innodb_autoinc_lock_mode = 2

innodb_file_per_table=1 

innodb_file_io_threads=4

[mysqldump]

quick

max_allowed_packet = 32M

[mysql]

no-auto-rehash

[mysqld_safe]

open-files-limit = 65535

###

但是发现很多地方不合理，因为数据库对我们非常重要，所以今天决定自己动手，测试一下性能，做简单优化。

使用sysbench测试oltp：

准备数据

sysbench --test=oltp --num-threads=16 --max-requests=1000000 --max-time=300 --mysql-host=localhost --mysql-port=3306 --mysql-password=6lapp --mysql-user=root  --mysql-db=6l_app --mysql-table-engine=innodb --oltp-table-size=10000000 --db-driver=mysql prepare

测试数据

sysbench --test=oltp --num-threads=16 --max-requests=1000000 --max-time=300 --mysql-host=localhost --mysql-port=3306 --mysql-password=6lapp --mysql-user=root  --mysql-db=6l_app --mysql-table-engine=innodb --oltp-table-size=10000000 --db-driver=mysql run

清理数据

sysbench --test=oltp --num-threads=16 --max-requests=1000000 --max-time=300 --mysql-host=localhost --mysql-port=3306 --mysql-password=6lapp --mysql-user=root  --mysql-db=6l_app --mysql-table-engine=innodb --oltp-table-size=10000000 --db-driver=mysql clean

最后等到的结果：

OLTP test statistics:

    queries performed:

        read:                            3544184

        write:                           1265780

        other:                           506312

        total:                           5316276

    transactions:                        253156 (843.83 per sec.)###这个就是我们最关心的每一秒的事物处理

    deadlocks:                           0      (0.00 per sec.)

    read/write requests:                 4809964 (16032.82 per sec.)

    other operations:                    506312 (1687.67 per sec.)

Test execution summary:

    total time:                          300.0073s

    total number of events:              253156

    total time taken by event execution: 4798.3943

    per-request statistics:

         min:                                  3.21ms

         avg:                                 18.95ms

         max:                                783.35ms

         approx.  95 percentile:              96.77ms

Threads fairness:

    events (avg/stddev):           22369.2812/153.99

    execution time (avg/stddev):   599.8554/0.00

可以看到上面只有843的事务处理量。显然不是我们可以接受的。

于是查看资料，发现mysql可以优化的东西太多了，下面罗列了一些，需要的时候可以查看，注意版本改变有的参数已经没有了：

[mysql]

#这个配置段设置启动MySQL服务的条件；在这种情况下，no-auto-rehash确保这个服务启动得比较快。

no-auto-rehash

back_log = 600  

#在MYSQL暂时停止响应新请求之前，短时间内的多少个请求可以被存在堆栈中。如果系统在短时间内有很多连接，则需要增大该参数的值，该参数值指定到来的TCP/IP连接的监听队列的大小。默认值80。

max_connections = 3000  

#MySQL允许最大的进程连接数，如果经常出现Too Many Connections的错误提示，则需要增大此值。默认151

max_connect_errors = 6000  

#设置每个主机的连接请求异常中断的最大次数，当超过该次数，MYSQL服务器将禁止host的连接请求，直到mysql服务器重启或通过flush hosts命令清空此host的相关信息。默认100

external-locking = FALSE  

#使用–skip-external-locking MySQL选项以避免外部锁定。该选项默认开启

max_allowed_packet = 32M  

#设置在网络传输中一次消息传输量的最大值。系统默认值 为4MB，最大值是1GB，必须设置1024的倍数。

#sort_buffer_size = 2M  

# Sort_Buffer_Size 是一个connection级参数，在每个connection（session）第一次需要使用这个buffer的时候，一次性分配设置的内存。

#Sort_Buffer_Size 并不是越大越好，由于是connection级的参数，过大的设置+高并发可能会耗尽系统内存资源。例如：500个连接将会消耗 500*sort_buffer_size(8M)=4G内存

#Sort_Buffer_Size 超过2KB的时候，就会使用mmap() 而不是 malloc() 来进行内存分配，导致效率降低。 系统默认2M，使用默认值即可

#join_buffer_size = 2M  

#用于表间关联缓存的大小，和sort_buffer_size一样，该参数对应的分配内存也是每个连接独享。系统默认2M，使用默认值即可

thread_cache_size = 300  

#默认38

# 服务器线程缓存这个值表示可以重新利用保存在缓存中线程的数量,当断开连接时如果缓存中还有空间,那么客户端的线程将被放到缓存中,如果线程重新被请求，那么请求将从缓存中读取,如果缓存中是空的或者是新的请求，那么这个线程将被重新创建,如果有很多新的线程，增加这个值可以改善系统性能.通过比较 Connections 和 Threads_created 状态的变量，可以看到这个变量的作用。设置规则如下：1GB 内存配置为8，2GB配置为16，3GB配置为32，4GB或更高内存，可配置更大。

#thread_concurrency = 8  

#系统默认为10，使用10先观察

# 设置thread_concurrency的值的正确与否, 对mysql的性能影响很大, 在多个cpu(或多核)的情况下，错误设置了thread_concurrency的值, 会导致mysql不能充分利用多cpu(或多核), 出现同一时刻只能一个cpu(或核)在工作的情况。thread_concurrency应设为CPU核数的2倍. 比如有一个双核的CPU, 那么thread_concurrency的应该为4; 2个双核的cpu, thread_concurrency的值应为8

query_cache_size = 64M  

#在MyISAM引擎优化中，这个参数也是一个重要的优化参数。但也爆露出来一些问题。机器的内存越来越大，习惯性把参数分配的值越来越大。这个参数加大后也引发了一系列问题。我们首先分析一下 query_cache_size的工作原理：一个SELECT查询在DB中工作后，DB会把该语句缓存下来，当同样的一个SQL再次来到DB里调用时，DB在该表没发生变化的情况下把结果从缓存中返回给Client。这里有一个关建点，就是DB在利用Query_cache工作时，要求该语句涉及的表在这段时间内没有发生变更。那如果该表在发生变更时，Query_cache里的数据又怎么处理呢？首先要把Query_cache和该表相关的语句全部置为失效，然后在写入更新。那么如果Query_cache非常大，该表的查询结构又比较多，查询语句失效也慢，一个更新或是Insert就会很慢，这样看到的就是Update或是Insert怎么这么慢了。所以在数据库写入量或是更新量也比较大的系统，该参数不适合分配过大。而且在高并发，写入量大的系统，建议把该功能禁掉。

query_cache_limit = 4M  

#指定单个查询能够使用的缓冲区大小，缺省为1M

query_cache_min_res_unit = 2k  

#默认是4KB，设置值大对大数据查询有好处，但如果你的查询都是小数据查询，就容易造成内存碎片和浪费

#查询缓存碎片率 = Qcache_free_blocks / Qcache_total_blocks * 100%

#如果查询缓存碎片率超过20%，可以用FLUSH QUERY CACHE整理缓存碎片，或者试试减小query_cache_min_res_unit，如果你的查询都是小数据量的话。

#查询缓存利用率 = (query_cache_size – Qcache_free_memory) / query_cache_size * 100%

#查询缓存利用率在25%以下的话说明query_cache_size设置的过大，可适当减小;查询缓存利用率在80%以上而且Qcache_lowmem_prunes > 50的话说明query_cache_size可能有点小，要不就是碎片太多。

#查询缓存命中率 = (Qcache_hits – Qcache_inserts) / Qcache_hits * 100%

#default-storage-engine = MyISAM

#default_table_type = InnoDB #开启失败

#thread_stack = 192K  

#设置MYSQL每个线程的堆栈大小，默认值足够大，可满足普通操作。可设置范围为128K至4GB，默认为256KB，使用默认观察

transaction_isolation = READ-COMMITTED  

# 设定默认的事务隔离级别.可用的级别如下:READ UNCOMMITTED-读未提交 READ COMMITTE-读已提交 REPEATABLE READ -可重复读 SERIALIZABLE -串行

tmp_table_size = 256M  

# tmp_table_size 的默认大小是 32M。如果一张临时表超出该大小，MySQL产生一个 The table tbl_name is full 形式的错误，如果你做很多高级 GROUP BY 查询，增加 tmp_table_size 值。如果超过该值，则会将临时表写入磁盘。

max_heap_table_size = 256M

expire_logs_days = 7  

key_buffer_size = 2048M  

#批定用于索引的缓冲区大小，增加它可以得到更好的索引处理性能，对于内存在4GB左右的服务器来说，该参数可设置为256MB或384MB。

read_buffer_size = 1M  

#默认128K

# MySql读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区，MySql会为它分配一段内存缓冲区。read_buffer_size变量控制这一缓冲区的大小。如果对表的顺序扫描请求非常频繁，并且你认为频繁扫描进行得太慢，可以通过增加该变量值以及内存缓冲区大小提高其性能。和sort_buffer_size一样，该参数对应的分配内存也是每个连接独享。

read_rnd_buffer_size = 16M  

# MySql的随机读（查询操作）缓冲区大小。当按任意顺序读取行时(例如，按照排序顺序)，将分配一个随机读缓存区。进行排序查询时，MySql会首先扫描一遍该缓冲，以避免磁盘搜索，提高查询速度，如果需要排序大量数据，可适当调高该值。但MySql会为每个客户连接发放该缓冲空间，所以应尽量适当设置该值，以避免内存开销过大。

bulk_insert_buffer_size = 64M  

#批量插入数据缓存大小，可以有效提高插入效率，默认为8M

myisam_sort_buffer_size = 128M  

# MyISAM表发生变化时重新排序所需的缓冲 默认8M

myisam_max_sort_file_size = 10G  

# MySQL重建索引时所允许的最大临时文件的大小 (当 REPAIR, ALTER TABLE 或者 LOAD DATA INFILE).

# 如果文件大小比此值更大,索引会通过键值缓冲创建(更慢)

#myisam_max_extra_sort_file_size = 10G 5.6无此值设置

#myisam_repair_threads = 1   默认为1

# 如果一个表拥有超过一个索引, MyISAM 可以通过并行排序使用超过一个线程去修复他们.

# 这对于拥有多个CPU以及大量内存情况的用户,是一个很好的选择.

myisam_recover  

#自动检查和修复没有适当关闭的 MyISAM 表

skip-name-resolve  

lower_case_table_names = 1  

server-id = 1

innodb_additional_mem_pool_size = 16M  

#这个参数用来设置 InnoDB 存储的数据目录信息和其它内部数据结构的内存池大小，类似于Oracle的library cache。这不是一个强制参数，可以被突破。

innodb_buffer_pool_size = 2048M  

# 这对Innodb表来说非常重要。Innodb相比MyISAM表对缓冲更为敏感。MyISAM可以在默认的 key_buffer_size 设置下运行的可以，然而Innodb在默认的 innodb_buffer_pool_size 设置下却跟蜗牛似的。由于Innodb把数据和索引都缓存起来，无需留给操作系统太多的内存，因此如果只需要用Innodb的话则可以设置它高达 70-80% 的可用内存。一些应用于 key_buffer 的规则有 — 如果你的数据量不大，并且不会暴增，那么无需把 innodb_buffer_pool_size 设置的太大了

#innodb_data_file_path = ibdata1:1024M:autoextend 设置过大导致报错，默认12M观察

#表空间文件 重要数据

#innodb_file_io_threads = 4   不明确，使用默认值

#文件IO的线程数，一般为 4，但是在 Windows 下，可以设置得较大。

innodb_thread_concurrency = 8  

#服务器有几个CPU就设置为几，建议用默认设置，一般为8.

innodb_flush_log_at_trx_commit = 2  

# 如果将此参数设置为1，将在每次提交事务后将日志写入磁盘。为提供性能，可以设置为0或2，但要承担在发生故障时丢失数据的风险。设置为0表示事务日志写入日志文件，而日志文件每秒刷新到磁盘一次。设置为2表示事务日志将在提交时写入日志，但日志文件每次刷新到磁盘一次。

#innodb_log_buffer_size = 16M   使用默认8M

#此参数确定些日志文件所用的内存大小，以M为单位。缓冲区更大能提高性能，但意外的故障将会丢失数据.MySQL开发人员建议设置为1－8M之间

#innodb_log_file_size = 128M  使用默认48M

#此参数确定数据日志文件的大小，以M为单位，更大的设置可以提高性能，但也会增加恢复故障数据库所需的时间

#innodb_log_files_in_group = 3   使用默认2

#为提高性能，MySQL可以以循环方式将日志文件写到多个文件。推荐设置为3M

#innodb_max_dirty_pages_pct = 90  使用默认75观察

#推荐阅读 http://www.taobaodba.com/html/221_innodb_max_dirty_pages_pct_checkpoint.html

# Buffer_Pool中Dirty_Page所占的数量，直接影响InnoDB的关闭时间。参数innodb_max_dirty_pages_pct 可以直接控制了Dirty_Page在Buffer_Pool中所占的比率，而且幸运的是innodb_max_dirty_pages_pct是可以动态改变的。所以，在关闭InnoDB之前先将innodb_max_dirty_pages_pct调小，强制数据块Flush一段时间，则能够大大缩短 MySQL关闭的时间。

innodb_lock_wait_timeout = 120  

#默认为50秒 

# InnoDB 有其内置的死锁检测机制，能导致未完成的事务回滚。但是，如果结合InnoDB使用MyISAM的lock tables 语句或第三方事务引擎,则InnoDB无法识别死锁。为消除这种可能性，可以将innodb_lock_wait_timeout设置为一个整数值，指示 MySQL在允许其他事务修改那些最终受事务回滚的数据之前要等待多长时间(秒数)

innodb_file_per_table = 0  

#默认为No

#独享表空间（关闭）

下面罗列我们必须要把控的几个参数：

binlog_cache_size：这个参数一般队主从影响比较大，可以通过命令查看是否需要调整。

show status like ‘binlog_%‘;

+----------------------------+---------+

| Variable_name              | Value   |

+----------------------------+---------+

| Binlog_cache_disk_use      | 0       |

| Binlog_cache_use           | 1037591 |

| Binlog_stmt_cache_disk_use | 0       |

| Binlog_stmt_cache_use      | 0       |

+----------------------------+---------+

我感觉32m都还是有点大，这个自己调整

max_binlog_cache_size = 64M

max_binlog_size = 200M

binlog_cache_size = 32M

thread_concurrency：cpu核数2倍

thread_concurrency = 16

query_cache：默认是关闭的，可以query_cache_type = 1开启高速缓存，有利有弊慎用

query_cache_type = 1

query_cache_limit = 128k

query_cache_min_res_unit = 2k

query_cache_size = 80M

table_open_cache: 每一次打开都会给session分配内存，不宜多大，哪找内存配置

 show global status like ‘open%tables%‘;

+---------------+-------+

| Variable_name | Value |

+---------------+-------+

| Open_tables   | 95    |

| Opened_tables | 102   |

+---------------+-------+

2 rows in set (0.01 sec)

table_open_cache = 512

下面对innodb影响比较大的优化：

innodb_buffer_pool_size = 16G##innodb_buffer_pool大小

#innodb_buffer_pool_size = 125G

innodb_buffer_pool_instances=4##启动几个实例，确保每个实例池都大于1G（官方是那样说的），不是越大越好，测试到4可以达到最高的tps

innodb_log_file_size = 4G##每个日志的大小

innodb_log_files_in_group = 2##几组日志默认就是2

##innodb_additional_mem_pool_size = 160M##5.6已经弃用这个参数了

innodb_log_buffer_size = 16M

innodb_flush_log_at_trx_commit =0

innodb_lock_wait_timeout = 60

innodb_flush_method = O_DIRECT

innodb_open_files  =   2000###这个innodb可以打开的文件，如果表比较多，可以加大这个参数

innodb_io_capacity = 800

innodb_io_capacity_max = 1000

innodb_lru_scan_depth = 2000

innodb_thread_concurrency = 0

innodb_autoinc_lock_mode = 2

innodb_file_per_table=1 

innodb_read_io_threads = 4

innodb_write_io_threads = 4

好了差不多了，下面我优化后的配置和优化后的测试结果：

[client]

port= 3306

socket= /tmp/mysql.sock

[mysqld]

default-storage-engine=INNODB 

port= 3306

socket= /tmp/mysql.sock

skip-external-locking

max_allowed_packet = 50M

character-set-server = utf8

skip-name-resolve

ft_min_word_len = 4

datadir=/usr/local/mysql/data

open_files_limit = 65535

max_connections = 5000

max_connect_errors = 6000

thread_stack = 256K

transaction_isolation = REPEATABLE-READ

slow_query_log

long_query_time = 2

slow_query_log_file = /usr/local/mysql/slow-log.log

net_buffer_length = 10M

log-error=/usr/local/mysql/mysqld_err.log

back_log = 1024

max_binlog_cache_size = 64M

max_binlog_size = 200M

binlog_format=mixed

expire_logs_days = 7

####  buffer && cache  ####

tmp_table_size = 256M

max_heap_table_size = 256M

read_buffer_size = 20M

read_rnd_buffer_size = 16M

sort_buffer_size = 16M

join_buffer_size = 64M

thread_cache_size = 1024

thread_cache = 1024

thread_concurrency = 16

query_cache_type = 1

query_cache_limit = 128k

query_cache_min_res_unit = 2k

query_cache_size = 80M

table_open_cache = 512

binlog_cache_size = 32M

#sha256_password_private_key_path=mykey.pem

#sha256_password_public_key_path=mykey.pub

key_buffer_size = 128M

bulk_insert_buffer_size = 64M

####  myisam  ####

myisam_sort_buffer_size = 128M

myisam_max_sort_file_size = 1024M

myisam_repair_threads = 1

#myisam_recover

log-bin=mysql-bin

server-id= 2

innodb_data_home_dir = /usr/local/mysql/data

innodb_data_file_path = ibdata1:10M:autoextend

innodb_log_group_home_dir = /usr/local/mysql/data

innodb_buffer_pool_size = 16G

#innodb_buffer_pool_size = 125G

innodb_buffer_pool_instances=4

innodb_log_file_size = 4G

innodb_log_files_in_group = 2

#innodb_additional_mem_pool_size = 160M

#innodb_log_file_size = 300M

innodb_log_buffer_size = 16M

innodb_flush_log_at_trx_commit =0

innodb_lock_wait_timeout = 60

innodb_flush_method = O_DIRECT

innodb_open_files  =   2000

innodb_io_capacity = 800

innodb_io_capacity_max = 1000

innodb_lru_scan_depth = 2000

innodb_thread_concurrency = 0

innodb_autoinc_lock_mode = 2

innodb_file_per_table=1 

#innodb_file_io_threads=4

innodb_read_io_threads = 4

innodb_write_io_threads = 4

[mysqldump]

quick

max_allowed_packet = 50M

[mysql]

no-auto-rehash

[mysqlhotcopy]

interactive-timeout

[mysqld_safe]

open-files-limit = 65535

测试结果：

Threads fairness:

    events (avg/stddev):           32403.8125/190.61

    execution time (avg/stddev):   599.8132/0.00

OLTP test statistics:

    queries performed:

        read:                            14526274

        write:                           5187955

        other:                           2075182

        total:                           21789411

    transactions:                        1037591 (1729.30 per sec.)

    deadlocks:                           0      (0.00 per sec.)

    read/write requests:                 19714229 (32856.63 per sec.)

    other operations:                    2075182 (3458.59 per sec.)

Test execution summary:

    total time:                          600.0077s

    total number of events:              1037591

    total time taken by event execution: 19193.6094

    per-request statistics:

         min:                                  3.18ms

         avg:                                 18.50ms

         max:                               3024.86ms

         approx.  95 percentile:              51.59ms

Threads fairness:

    events (avg/stddev):           32424.7188/255.15

    execution time (avg/stddev):   599.8003/0.00

后面再调整吧，有提升就是好的。

本文出自 “nginx安装优化” 博客，请务必保留此出处http://mrdeng.blog.51cto.com/3736360/1904298