mysql小白系列_12 sysbench

Posted 不懂ABAP的python不是好basis

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mysql小白系列_12 sysbench相关的知识,希望对你有一定的参考价值。

压测

1.查看机器负载load
  • top - load average 1m 5m 15m
  • cat /proc/loadavg
  • 与CPU个数有关,1个load表示1个CPUcat /proc/cpuinfo |grep processor
2.CPU使用率
  • top us sy id wa hi si st
  • cat /proc/stat
3.QPS
  • SSD查询QPS约2w
  • 评估qps=(总pv * 80%)/(24 * 60 * 60 * 20%)
  • 机器数=总qps/单台机器极限qps
sysbench
  • 1.安装

    wget https://github.com/akopytov/sysbench/archive/1.0.zip -O "sysbench-1.0.zip"
    unzip sysbench-1.0.zip
    cd sysbench-1.0
    yum install automake libtool -y
    export LD_LIBRARY_PATH=/usr/local/mysql/lib
    ./autogen.sh
    ./configure --with-mysql-includes=/usr/local/mysql/include/ --with-mysql-libs=/usr/local/mysql/lib/
    make && make install
  • 2.创建测试表

    sysbench --test=/usr/local/share/sysbench/tests/include/oltp_legacy/select.lua --oltp-table-size=20000 --mysql-table-engine=innodb --mysql-user=root --mysql-password=123456 --mysql-port=3306 --mysql-host=localhost --mysql-db=test --max-requests=0 --max-time=60 --oltp-tables-count=20 --report-interval=10 --num_threads=2 prepare
sysbench --test=oltp --oltp_tables_count=10 --oltp-table-size=100000 --mysql-user=root --mysql-password=123456 --num-threads=20 --max-time=120 --max-requests=0 --oltp-test-mode=complex prepare
#-test=tests/db/oltp.lua 表示调用 tests/db/oltp.lua 脚本进行 oltp 模式测试
#--oltp_tables_count=10 表示会生成 10 个测试表
#--oltp-table-size=100000 表示每个测试表填充数据量为 100000 
#--rand-init=on 表示每个测试表都是用随机数据来填充的
#-num-threads=8 表示发起 8个并发连接
#--oltp-read-only=off 表示不要进行只读测试,也就是会采用读写混合模式测试
#--report-interval=10 表示每10秒输出一次测试进度报告
#--rand-type=uniform 表示随机类型为固定模式,其他几个可选随机模式:uniform(固定),gaussian(高斯),special(特定的),pareto(帕累托)
#--max-time=120 表示最大执行时长为 120秒
#--max-requests=0 表示总请求数为 0,因为上面已经定义了总执行时长,所以总请求数可以设定为 0;也可以只设定总请求数,不设定最大执行时长
#--percentile=99 表示设定采样比例,默认是 95%,即丢弃1%的长请求,在剩余的99%里取最大值
  • 3.开始测试

    sysbench --test=/usr/local/share/sysbench/tests/include/oltp_legacy/select.lua --oltp-table-size=20000 --mysql-table-engine=innodb --mysql-user=root --mysql-password=123456 --mysql-port=3306 --mysql-host=localhost --mysql-db=test --max-requests=0 --max-time=60 --oltp-tables-count=20 --report-interval=10 --num_threads=2 run
    -------- -----load-avg---- ---cpu-usage--- ---swap---                     -QPS- -TPS-         -Hit%- ------threads------ 
      time  |  1m    5m   15m |usr sys idl iow|   si   so|  ins   upd   del    sel   iud|     lor    hit| run  con  cre  cac|
    20:12:09| 0.02  0.05  0.12|  1   2  97   0|    0    0|    0     0     0      0     0|       0 100.00|   1    1    0    1|
    20:12:12| 0.02  0.05  0.12|  1   1  98   0|    0    0|    0     0     0      0     0|       0 100.00|   1    1    0    1|
    20:12:15| 0.02  0.05  0.12| 29   7  64   0|    0    0|    0     0     0   1822     0|    3855 100.00|   1    3    0    0|
    20:12:18| 0.25  0.10  0.14| 85  15   0   0|    0    0|    0     0     0   5015     0|   10536 100.00|   1    3    0    0|
    20:12:21| 0.25  0.10  0.14| 85  15   0   0|    0    0|    0     0     0   5427     0|   11394 100.00|   1    3    0    0|
    20:12:25| 0.55  0.16  0.16| 83  17   0   0|    0    0|    0     0     0   5199     0|   10879 100.00|   1    3    0    0|
    20:12:28| 0.75  0.21  0.17| 86  14   0   0|    0    0|    0     0     0   5290     0|   11116 100.00|   1    3    0    0|
    20:12:31| 0.75  0.21  0.17| 76  24   0   0|    0    0|    0     0     0   4403     0|    9281 100.00|   1    3    0    0|
    20:12:34| 1.01  0.27  0.20| 74  26   0   0|    0    0|    0     0     0   4808     0|   10093 100.00|   1    3    0    0|
    20:12:38| 1.09  0.30  0.20| 82  18   0   0|    0    0|    0     0     0   5214     0|   10882 100.00|   1    3    0    0|
    20:12:41| 1.09  0.30  0.20| 83  17   0   0|    0    0|    0     0     0   5146     0|   10782 100.00|   1    3    0    0|
    20:12:44| 1.24  0.35  0.22| 82  18   0   0|    0    0|    0     0     0   5277     0|   11120 100.00|   1    3    0    0|
    20:12:47| 1.24  0.35  0.22| 83  17   0   0|    0    0|    0     0     0   5415     0|   11423 100.00|   1    3    0    0|
    20:12:50| 1.38  0.39  0.24| 83  17   0   0|    0    0|    0     0     0   5522     0|   11559 100.00|   1    3    0    0|
    20:12:54| 1.51  0.43  0.25| 83  17   0   0|    0    0|    0     0     0   5476     0|   11480 100.00|   1    3    0    0|
  • 1m超过1代表CPU使用量超过1
  • usr代表用户使用CPU百分比
  • QPS的sel代表select DML,极限在5000左右

http://blog.csdn.net/oahz4699092zhao/article/details/53332105

4.TPS
  • DML的表现,每秒事务数
  • 可以用olut.lua脚本随机压测

    -------- -----load-avg---- ---cpu-usage--- ---swap---                     -QPS- -TPS-         -Hit%- ------threads------ 
      time  |  1m    5m   15m |usr sys idl iow|   si   so|  ins   upd   del    sel   iud|     lor    hit| run  con  cre  cac|
    00:09:42| 0.97  0.29  0.14|  2   2  96   0|    0    0|    0     0     0      0     0|       0 100.00|   0    0    0    0|
    00:09:45| 0.98  0.30  0.14|  2  13  52  33|    0    0|    0     0     0      0     0|       0 100.00|   1    1    0    2|
    00:09:48| 0.98  0.30  0.14|  2   9  76  13|    0    0|    0     0     0      0     0|       0 100.00|   1    1    0    2|
    00:09:52| 1.06  0.33  0.15|  4  18  43  35|    0    0|    0     0     0      0     0|      49 100.00|   1    1    0    2|
    00:09:55| 1.06  0.33  0.15| 18  22  34  26|    0    0|   15    31    15    220    62|    3322 100.00|   3    3    0    0|
    00:09:58| 1.21  0.37  0.17| 19  25  28  29|    0    0|   18    36    18    257    73|    3912 100.00|   3    3    0    0|
    00:10:01| 1.28  0.40  0.18| 20  32  17  31|    0    0|   17    34    17    243    69|    3600 100.00|   3    3    0    0|
    00:10:04| 1.28  0.40  0.18| 16  25  31  27|    0    0|   15    30    15    210    60|    2756 100.00|   3    3    0    0|
    00:10:07| 1.41  0.44  0.19| 23  32  27  18|    0    0|   20    40    20    285    81|    4518 100.00|   3    3    0    0|
    00:10:10| 1.62  0.50  0.21| 20  30  30  21|    0    0|   20    40    20    285    81|    4040 100.00|   3    3    0    0|
    00:10:13| 1.62  0.50  0.21| 22  30  22  26|    0    0|   19    39    19    280    79|    3540 100.00|   3    3    0    0|
    00:10:17| 1.65  0.52  0.22| 16  24  32  28|    0    0|   15    30    15    210    61|    3112 100.00|   3    3    0    0|
    00:10:20| 1.65  0.52  0.22| 21  25  38  15|    0    0|   21    42    21    299    85|    4237 100.00|   3    3    0    0|
    00:10:23| 1.84  0.58  0.24| 19  21  43  17|    0    0|   20    40    20    285    81|    4069 100.00|   3    3    0    0|
    00:10:26| 2.09  0.66  0.27| 20  22  35  23|    0    0|   20    41    20    290    82|    4736 100.00|   3    3    0    0|
    -------- -----load-avg---- ---cpu-usage--- ---swap---                     -QPS- -TPS-         -Hit%- ------threads------ 
      time  |  1m    5m   15m |usr sys idl iow|   si   so|  ins   upd   del    sel   iud|     lor    hit| run  con  cre  cac|
    00:10:29| 2.09  0.66  0.27| 21  22  34  24|    0    0|   21    43    21    304    86|    4324 100.00|   3    3    0    0|
    00:10:32| 2.33  0.73  0.29| 18  20  39  24|    0    0|   18    36    18    257    73|    3739 100.00|   3    3    0    0|
    00:10:35| 2.33  0.73  0.29| 22  24  33  22|    0    0|   23    46    23    327    93|    4719 100.00|   3    3    0    0|
    00:10:38| 2.54  0.80  0.32| 19  22  41  19|    0    0|   20    41    20    290    82|    4186 100.00|   3    3    0    0|
    00:10:41| 2.58  0.83  0.33| 22  23  36  19|    0    0|   22    44    22    308    88|    4458 100.00|   3    3    0    0|
    00:10:44| 2.58  0.83  0.33| 19  23  32  26|    0    0|   20    40    20    285    81|    4166 100.00|   3    3    0    0|
    00:10:47| 2.61  0.87  0.35| 19  24  36  22|    0    0|   22    45    22    318    90|    4448 100.00|   3    3    0    0|
    00:10:50| 2.72  0.92  0.37| 24  26  36  14|    0    0|   28    56    28    397   113|    6076 100.00|   3    3    0    0|
    00:10:54| 2.72  0.92  0.37| 12  16  55  18|    0    0|   12    24    12    173    49|    2718 100.00|   1    1    0    2|
    00:10:57| 2.66  0.94  0.37|  3  36  48  13|    0    0|    0     0     0      0     0|       0 100.00|   1    1    0    2|

分表分库索引设计

1.订单主键ID
  • (1)长度26位(170325131201 000000010 01 01)
  • (2)格式:[yyMMddHHmmss(12位)] [循环递增序列(9位)] [库序号(2位)] [表序号(2位)]
  • (3)中间变量=userID%(库数量 * 每个库的表数量)
  • (4)库序号=中间变量 / 每个库的表数量
  • (5)标序号=中间变量 % 每个库的表数量
2.order_num唯一索引

有20%要通过order_num(订单号)查数据,请问order_num(订单号)要怎么设计才能快带找到订单记录是在哪个库的哪个表?

Twiiter全局唯一ID

  • (1)41位时间序列
  • (2)10位机器标识
  • (3)12位计数顺序号
  • (4)长度64位(41 + 10 + 12)

这个做订单号有点长

订单号
  • (1)求除得库号
  • (2)求模得表号

http://www.bubuko.com/infodetail-2152233.html

3.非主键索引

有10%是非主键字段(比如:字段、渠道、商品,档期,品牌,收件人信息、金额等字段)去查记录,非主键字段要怎么设计才能快带定位到记录?

还是通过二级索引找到主键索引在进行路由?

==未完成==

以上是关于mysql小白系列_12 sysbench的主要内容,如果未能解决你的问题,请参考以下文章

sysbench对MySQL的压测

mysql之 sysbench0.4.12数据库性能测试

mysql小白系列_10 mysql主从复制原理

mysql小白系列_06 备份与恢复

mysql小白系列_04 datablock

mysql小白系列_06 备份与恢复 - mydumper与myloader