MySQL性能优化(八)：数据库性能诊断工具

浅浅的花香味﹌ 2023-07-21 05:46 58阅读 0赞

**目录**

一、mysqltuner.pl

工具的下载及部署

下载脚本

MySQLTuner 使用方法

二、数据库性能测试工具--sysbench

三、性能压测工具 -- mysql自带压测工具

四、ab性能压测工具

--------------------

哪些东西会影响mysql的性能？

1. 硬件

2. 系统配置

3. 数据表结构

4. SQL以及索引

# 一、mysqltuner.pl #

### 工具的下载及部署 ###

解决环境依赖，因为工具是perl脚本开发的，需要perl脚本环境

yum install -y perl*

### 下载脚本 ###

在http://mysqltuner.com/下载major-MySQLTuner-perl-1.6.0-142-g42593c6.zip  
  
将下载的mysqltuner.pl文件上传到需要测试的mysql服务器中

\# chmod +x mysqltuner.pl

或

git clone https://github.com/major/MySQLTuner-perl.git

MySQLTuner 下载地址：http://github.com/rackerhacker/MySQLTuner-perl

### MySQLTuner 使用方法 ###

cd MySQLTuner-perl
    
    ./mysqltuner.pl

# 二、数据库性能测试工具--sysbench #

sysbench是一款压力测试工具，可以测试系统的硬件性能，也可以用来对数据库进行基准测试

wget https://github.com/akopytov/sysbench/archive/1.0.zip -O "sysbench-1.0.zip"

解压后

cd sysbench-1.0

执行autogen.sh用它来生成configure这个文件

./autogen.sh

![format_png][]

执行configure && make && make install 来完成sysbench的安装

./configure && make && make install  这个命令是用于mysql默认的安装路径

./configure --prefix=/usr/local/sysbench/ --with-mysql --with-mysql-includes=/usr/local/mysql/include --with-mysql-libs=/usr/local/mysql/lib 这个是用于指定mysql安装的路径（我的mysql是默认路径，所以我用第一种）
    当然了，用上面的参数编译的话，就要确保你的 MySQL lib目录下有对应的 so 文件，如果没有，可以自己下载 devel 或者 share 包来安装。
    另外，如果想要让 sysbench 支持 pgsql/oracle 的话，就需要在编译的时候加上参数
    --with-pgsql
    或者
    --with-oracle
    这2个参数默认是关闭的，只有 MySQL 是默认支持的
    
    
    执行之后出现这个错误

![format_png 1][]

这是缺少MySQL头文件和库文件

centos6用：

yum install MySQL-shared  
    
     yum install MySQL-devel

centos7用：

yum install -y Percona-XtraDB-Cluster-shared-56.x86_64 
    
    yum install  -y Percona-XtraDB-Cluster-devel-56
    
    重新 ./configure && make && make install
    
    测试：sysbench cpu --cpu-max-prime=10000 run

出现这个就是成功

![format_png 2][]

sysbench支持以下几种测试模式：

1、CPU运算性能
    2、磁盘IO性能
    3、调度程序性能
    4、内存分配及传输速度
    5、POSIX线程性能
    6、数据库性能(OLTP基准测试)
    目前sysbench主要支持 mysql,drizzle,pgsql,oracle 等几种数据库。
    
    OLTP测试前准备

初始化测试库环境（总共10个测试表，每个表 100000 条记录，填充随机生成的数据）：

cd /tmp/sysbench-0.4.12-1.1/sysbench
    mysqladmin create sbtest
    
    ./sysbench --mysql-host=1.2.3.4 --mysql-port=3317 --mysql-user=tpcc --mysql-password=tpcc \
     --test=tests/db/oltp.lua --oltp_tables_count=10 --oltp-table-size=100000 --rand-init=on prepare
    
    prepare
    关于这几个参数的解释：
    --test=tests/db/oltp.lua 表示调用 tests/db/oltp.lua 脚本进行 oltp 模式测试
    
    --oltp_tables_count=10 表示会生成 10 个测试表
    
    --oltp-table-size=100000 表示每个测试表填充数据量为 100000 
    
    --rand-init=on 表示每个测试表都是用随机数据来填充的

如果在本机，也可以使用 –mysql-socket 指定 socket 文件来连接。加载测试数据时长视数据量而定，若过程比较久需要稍加耐心等待。

真实测试场景中，数据表建议不低于**10个**，单表数据量不低于**500万行**，当然了，要视服务器硬件配置而定。如果是配备了SSD或者PCIE SSD这种高IOPS设备的话，则建议单表数据量最少不低于**1亿行**。

**进行OLTP测试**

**在上面初始化数据参数的基础上，再增加一些参数，即可开始进行测试了：**

./sysbench --mysql-host=1.2.3.4. --mysql-port=3306 --mysql-user=tpcc \
    --mysql-password=tpcc --test=tests/db/oltp.lua --oltp_tables_count=10 \
    --oltp-table-size=10000000 --num-threads=8 --oltp-read-only=off \
    --report-interval=10 --rand-type=uniform --max-time=3600 \
     --max-requests=0 --percentile=99 run >> ./log/sysbench_oltpX_8_20140921.log
    
    几个选项稍微解释下
    
    --num-threads=8 表示发起 8个并发连接
    
    --oltp-read-only=off 表示不要进行只读测试，也就是会采用读写混合模式测试
    
    --report-interval=10 表示每10秒输出一次测试进度报告
    
    --rand-type=uniform 表示随机类型为固定模式，其他几个可选随机模式：uniform(固定),gaussian(高斯),special(特定的),pareto(帕累托)
    
    --max-time=120 表示最大执行时长为 120秒
    
    --max-requests=0 表示总请求数为 0，因为上面已经定义了总执行时长，所以总请求数可以设定为 0；也可以只设定总请求数，不设定最大执行时长
    
    --percentile=99 表示设定采样比例，默认是 95%，即丢弃1%的长请求，在剩余的99%里取最大值
    即：模拟 对10个表并发OLTP测试，每个表1000万行记录，持续压测时间为 1小时。
    
    真实测试场景中，建议持续压测时长不小于30分钟，否则测试数据可能不具参考意义

测试结果解读：

sysbench 0.5:  multi-threaded system evaluation benchmark
    
    Running the test with following options:
    Number of threads: 8
    Report intermediate results every 10 second(s)
    Random number generator seed is 0 and will be ignored
    
    
    Threads started!
    -- 每10秒钟报告一次测试结果，tps、每秒读、每秒写、99%以上的响应时长统计
    [  10s] threads: 8, tps: 1111.51, reads/s: 15568.42, writes/s: 4446.13, response time: 9.95ms (99%)
    [  20s] threads: 8, tps: 1121.90, reads/s: 15709.62, writes/s: 4487.80, response time: 9.78ms (99%)
    [  30s] threads: 8, tps: 1120.00, reads/s: 15679.10, writes/s: 4480.20, response time: 9.84ms (99%)
    [  40s] threads: 8, tps: 1114.20, reads/s: 15599.39, writes/s: 4456.30, response time: 9.90ms (99%)
    [  50s] threads: 8, tps: 1114.00, reads/s: 15593.60, writes/s: 4456.70, response time: 9.84ms (99%)
    [  60s] threads: 8, tps: 1119.30, reads/s: 15671.60, writes/s: 4476.50, response time: 9.99ms (99%)
    OLTP test statistics:
        queries performed:
            read:                            938224    -- 读总数
            write:                           268064    -- 写总数
            other:                           134032    -- 其他操作总数(SELECT、INSERT、UPDATE、DELETE之外的操作，例如COMMIT等)
            total:                           1340320    -- 全部总数
        transactions:                        67016  (1116.83 per sec.)    -- 总事务数(每秒事务数)
        deadlocks:                           0      (0.00 per sec.)    -- 发生死锁总数
        read/write requests:                 1206288 (20103.01 per sec.)    -- 读写总数(每秒读写次数)
        other operations:                    134032 (2233.67 per sec.)    -- 其他操作总数(每秒其他操作次数)
    
    General statistics:    -- 一些统计结果
        total time:                          60.0053s    -- 总耗时
        total number of events:              67016    -- 共发生多少事务数
        total time taken by event execution: 479.8171s    -- 所有事务耗时相加(不考虑并行因素)
        response time:    -- 响应时长统计
             min:                                  4.27ms    -- 最小耗时
             avg:                                  7.16ms    -- 平均耗时
             max:                                 13.80ms    -- 最长耗时
             approx.  99 percentile:               9.88ms    -- 超过99%平均耗时
    
    Threads fairness:
        events (avg/stddev):           8377.0000/44.33
        execution time (avg/stddev):   59.9771/0.00

其他信息可以参考这个连接： http://www.linuxidc.com/Linux/2017-04/142856.htm

实时操作：

/usr/local/bin/sysbench oltp_common --mysql-host=10.1.18.74 --mysql-port=3306  --table-size=1000000 --db-driver=mysql --mysql-db=test --mysql-user=root--mysql-password=root prepare

此命令用来生成表

oltp_common #生成库的脚本
    
    --mysql-db=test#指定库
    
    prepare   #运行的命令
    
    --oltp_tables_count=10  用来指定生成多少张表

/usr/local/bin/sysbench oltp_write_only --mysql-host=10.1.18.74 --mysql-port=3306 --table-size=1000 --db-driver=mysql --mysql-db=test --mysql-user=hairong.cao --mysql-password=hairong.cao --time=10 --max-requests=0 --threads=8 run
    
    oltp_write_only #指定只写脚本

生成表：

/usr/local/bin/sysbench tests/include/oltp_legacy/oltp.lua --mysql-host=10.1.18.74 --mysql-port=3306  --oltp_tables_count=8 --table-size=10000000 --db-driver=mysql --mysql-db=test --mysql-user=hairong.cao --mysql-password=hairong.cao prepare

混合场景压测：

/usr/local/bin/sysbench  tests/include/oltp_legacy/oltp.lua  --mysql-host=10.1.18.74 --mysql-port=3306  --table-size=10000000 --db-driver=mysql --mysql-db=test --mysql-user=root --mysql-password=root --oltp_tables_count=8 --max-requests=0 --threads=32 --oltp-read-olny=off --report-interval=10 --percentile=99 --max-time=3600 run >> ./logs/baidu.log

cpu测试：

/usr/local/bin/sysbench --test=cpu --num-threads=40 --max-requests=10000 --cpu-max-prime=20000 run

IO测试：

生成测试文件； /usr/local/bin/sysbench --test=fileio --file-num=10 --file-total-size=5G prepare  表示生成10个5G的文件
    
    运行测试： /usr/local/bin/sysbench --test=fileio --file-total-size=5G --file-test-mode=rndrw  --max-requests=5000 --num-threads=16  --file-num=10 --file-extra-flags=direct --file-fsync-freq=0 --file-block-size=16384 run
    
    参数说明： --max-requests=5000 表示5000请求量   
    
    　　　　　　 --num-threads=16  16个线程

File operations:  
reads/s: 1791.40   表示每秒读的次数  
writes/s: 1188.31  表示每秒写的次数  
fsyncs/s: 5.96   表示每秒从内存向磁盘同步的次数

Throughput:  
read, MiB/s: 27.99   这里表示读的带宽  
written, MiB/s: 18.57  这里表示写的带宽

# 三、性能压测工具 -- mysql自带压测工具 #

mysqlslap是mysql自带的基准测试工具。

优点:查询数据,语法简单,灵活容易使用.该工具可以模拟多个客户端同时并发的向服务器发出查询更新,给出了性能测试数据而且提供了多种引擎的性能比较.msqlslap为mysql性能优化前后提供了直观的验证依 据,建议系统运维和DBA人员应该掌握一些常见的压力测试工具,才能准确的掌握线上数据库支撑的用户 流量上限及其抗压性等问题。

语法#
    mysqlslap [options]
    --auto-generate-sql, -a 自动生成测试表和数据，表示用mysqlslap工具自己生成的SQL脚本来测试
    并发压力。
    
    --auto-generate-sql-load-type=type 测试语句的类型。代表要测试的环境是读操作还是写操作还是
    两者混合的。取值包括：read，key，write，update和mixed(默认)。
    
    --auto-generate-sql-add-auto-increment 代表对生成的表自动添加auto_increment列，从
    5.1.18版本开始支持。
    
    --number-char-cols=N, -x N 自动生成的测试表中包含多少个字符类型的列，默认1
    
    --number-int-cols=N, -y N 自动生成的测试表中包含多少个数字类型的列，默认1
    
    --number-of-queries=N 总的测试查询次数(并发客户数×每客户查询次数)
    
    --query=name,-q 使用自定义脚本执行测试，例如可以调用自定义的一个存储过程或者sql语句来执行测
    试。
    
    --create-schema 代表自定义的测试库名称，测试的schema，MySQL中schema也就是database。
    
    --commint=N 多少条DML后提交一次。
    
    --compress, -C 如果服务器和客户端支持都压缩，则压缩信息传递。
    
    --concurrency=N, -c N 表示并发量，也就是模拟多少个客户端同时执行select。可指定多个值，以逗
    号或者
    
    --delimiter参数指定的值做为分隔符。例如：--concurrency=100,200,500。
    
    --engine=engine_name, -e engine_name 代表要测试的引擎，可以有多个，用分隔符隔开。例如：-
    -engines=myisam,innodb。
    
    --iterations=N, -i N 测试执行的迭代次数，代表要在不同并发环境下，各自运行测试多少次。
    
    --only-print 只打印测试语句而不实际执行。
    
    --detach=N 执行N条语句后断开重连。
    
    --debug-info, -T 打印内存和CPU的相关信息。

测试的过程需要生成测试表，插入测试数据，这个mysqlslap可以自动生成，默认生成一个mysqlslap 的schema，如果存在则删除。可以用--only-print来打印实际的测试过程，整个测试完成后不会在数据 库中留下痕迹。

mysqlslap --help
    单线程测试。测试做了什么。
    
    mysqlslap -a -u root -p
    多线程测试。使用–concurrency来模拟并发连接。
    
    mysqlslap -a -c 100 -u root -p
    
    打印参数解释：
    Benchmark
    Average number of seconds to run all queries: 0.344 seconds ## 100个客户端（并发）
    同时运行这些SQL语句平均要花0.351秒
    
    Minimum number of seconds to run all queries: 0.344 seconds
    Maximum number of seconds to run all queries: 0.344 seconds
    Number of clients running queries: 100 ## 总共100个客户端（并发）运行这些sql查询
    
    Average number of queries per client: 0 ## 每个客户端（并发）平均运行50次查询（对应--
    concurrency=100
    测试100个并发线程，测试次数1次，自动生成SQL测试脚本，读、写、更新混合测试，自增长字段，测试引擎
    为innodb，共运行5000次查询
    
    mysqlslap -u root -p -c 100 -i 1 -a --auto-generate-sql-load-type=mixed --autogenerate-sql-add-autoincrement -e innodb --number-of-queries=5000
    
    mysqlslap -h 127.0.0.1 -u root -p -c 100 -i 1 --create-schema tipaskx -q "select
    count(*) from ask_users" -e innodb --number-of-queries=5000

注意这里：在进行-c测试的时候容易出现

执行
    mysqlslap -a -c 1000 -u root -p
    
    出现
    mysqlslap: Error when connecting to server: 1040 Too many connections

这个问题的主要是连接的超过了最大的连接次数导致的，解决办法修改MySQL的配置文件my.cnf或 my.ini 设置max\_connections 的值然后重启；

\-- 查看连接数

show variables like 'max_conn%';

# 四、ab性能压测工具 #

ab官网 http://httpd.apache.org/docs/2.0/programs/ab.html

apache的ab命令模拟多线程并发请求，测试服务器负载压力，也可以测试nginx、lighthttp、IIS等其它 Web服务器的压力。

ab命令对发出负载的计算机要求很低，既不会占用很多CPU，也不会占用太多的内存，但却会给目标服 务器造成巨大的负载，因此是某些DDOS攻击之必备良药，老少皆宜。自己使用也须谨慎。否则一次上 太多的负载，造成目标服务器直接因内存耗光死机，而不得不硬重启，得不偿失。

操作

cd \xxx\xxx\xxx\Apache\bin
    
    ab -n 800 -c 800 http://127.0.0.1/phpinfo.php
    （-n发出800个请求，-c模拟800并发，相当800人同时访问，后面是测试url）
    
    ab -t 60 -c 100 http://127.0.0.1/phpinfo.php
    
    在60秒内发请求，一次100个请求。
    -n在测试会话中所执行的请求个数。默认时，仅执行一个请求。
    
    -c一次产生的请求个数。默认是一次一个。
    
    -t测试所进行的最大秒数。其内部隐含值是-n 50000，它可以使对服务器的测试限制在一个固定的总时间以
    内。默认时，没有时间限制。
    
    -p包含了需要POST的数据的文件。
    
    -P对一个中转代理提供BASIC认证信任。用户名和密码由一个:隔开，并以base64编码形式发送。无论服务器
    是否需要(即, 是否发送了401认证需求代码)，此字符串都会被发送。
    
    -T POST数据所使用的Content-type头信息。
    
    -v设置显示信息的详细程度-4或更大值会显示头信息，3或更大值可以显示响应代码(404,200等),2或更大
    值可以显示警告和其他信息。
    
    -V显示版本号并退出。
    
    -w以HTML表的格式输出结果。默认时，它是白色背景的两列宽度的一张表。
    
    -i执行HEAD请求，而不是GET。
    
    -x设置<table>属性的字符串。
    
    -X对请求使用代理服务器。
    
    -y设置<tr>属性的字符串。
    
    -z设置<td>属性的字符串。
    
    -C对请求附加一个Cookie:行。其典型形式是name=value的一个参数对，此参数可以重复。
    
    -H对请求附加额外的头信息。此参数的典型形式是一个有效的头信息行，其中包含了以冒号分隔的字段和值的
    对(如,"Accept-Encoding:zip/zop;8bit")。
    
    -A对服务器提供BASIC认证信任。用户名和密码由一个:隔开，并以base64编码形式发送。无论服务器是否需
    要(即,是否发送了401认证需求代码)，此字符串都会被发送。
    
    -h显示使用方法。
    
    -d不显示"percentage served within XX [ms] table"的消息(为以前的版本提供支持)。
    
    -e产生一个以逗号分隔的(CSV)文件，其中包含了处理每个相应百分比的请求所需要(从1%到100%)的相应百
    分比的(以微妙为单位)时间。由于这种格式已经“二进制化”，所以比'gnuplot'格式更有用。
    
    -g把所有测试结果写入一个'gnuplot'或者TSV(以Tab分隔的)文件。此文件可以方便地导入到
    Gnuplot,IDL,Mathematica,Igor甚至Excel中。其中的第一行为标题。
    
    -i执行HEAD请求，而不是GET。
    
    -k启用HTTP KeepAlive功能，即在一个HTTP会话中执行多个请求。默认时，不启用KeepAlive功能。
    
    -q如果处理的请求数大于150，ab每处理大约10%或者100个请求时，会在stderr输出一个进度计数。此-q
    标记可以抑制这些信息。

在进行性能测试过程中有几个指标比较重要：

1、吞吐率（Requests per second）

服务器并发处理能力的量化描述，单位是reqs/s，指的是在某个并发用户数下单位时间内处理的请求 数。某个并发用户数下单位时间内能处理的最大请求数，称之为最大吞吐率。

记住：吞吐率是基于并发用户数的。

这句话代表了两个含义：

a、吞吐率和并发用户数相关

b、不同的并发用户数下，吞吐率一般是不同的

计算公式：总请求数/处理完成这些请求数所花费的时间，即 Request per second=Complete requests/Time taken for tests 必须要说明的是，这个数值表示当前机器的整体性能，值越大越好。

2、并发连接数（The number of concurrent connections） 并发连接数指的是某个时刻服务器所接受的请求数目，简单的讲，就是一个会话。

3、并发用户数（Concurrency Level） 要注意区分这个概念和并发连接数之间的区别，一个用户可能同时会产生多个会话，也即连接数。在 HTTP/1.1下，IE7支持两个并发连接，IE8支持6个并发连接，FireFox3支持4个并发连接，所以相应的， 我们的并发用户数就得除以这个基数。

4、用户平均请求等待时间（Time per request）

计算公式：处理完成所有请求数所花费的时间/（总请求数/并发用户数），即： editor Time per request=Time taken for tests/（Complete requests/Concurrency Level）

5、服务器平均请求等待时间（Time per request:across all concurrent requests）

计算公式：处理完成所有请求数所花费的时间/总请求数，即： Tim taken for/testsComplete requests 可以看到，它是吞吐率的倒数。同时，它也等于用户平均请求等待时间/并发用户数，即 Time per request/Concurrency Level

[format_png]: /images/20230528/3af7f2fa9a5c4e42a10eb09a945484d8.png
[format_png 1]: /images/20230528/67d52ff946364b7d97be2c39bd58c554.png
[format_png 2]: /images/20230528/0e5a15cc72b94591bcc12db1ac7686b5.png