基准测试是 指通过设计科学的测试方法、测试工具和测试系统，实现对一类测试对象的某项性能指标进行定量的和可对比的测试。例如，对计算机CPU进行浮点运算、数据访问的带宽和延迟等指标的基准测试，可以使用户清楚地了解每一款CPU的运算性能及作业吞吐能力是否满足应用程序的要求；
高性能MySQL -MySQL基准测试，（http_load , sysbench 使用介绍 ）
一、为什么需要基准测试？
答：基准测试是针对系统设计的一种压力测试。可以观察系统在不同的压力下的行为，评估系统的容量，掌握哪些是重要的变化，或者观察系统如何处理不同的数据。
⚠️ 不能根据测试结果做简单的推断。例如：假设想知道使用新数据库服务后，系统能支撑多大的业务增长，这时候不能简单地通过测试结果支持的TPS（每秒事务数）是原系统推断说新系统一定可以支持40倍的业务增长，因为在业务增长的同时，系统的流量、用户、数据以及不同数据之间的交互都在增长，它们不可能都有40倍的支撑能力，尤其是相互之间的关系。
二、 基准测试的策略
- 针对整个系统的整体测试（集成式）2. 单独测试Mysql（单组件式）。
集成式测试的好处：
- 测试整个应用系统，包括Web服务器，应用代码，网络和数据库是非常有用的。因为用户关注的并不仅仅是MySQL本身的性能，而是整体应用的性能。
- Mysql并非总是应用的瓶颈
- 只有对应用整体测试，才能发现各部分之间的缓存带来的影响。
- 整体应用集成式更能揭示应用的真实表现
如果能在真实的数据集上执行重复的查询，那么针对Mysql的基准测试也是游泳的，但是数据本身和数据集的大小是真实的，可以采用生成环境的数据快照。
三、测试何种指标：
- 吞吐量 单位时间内的事务处理数
- 响应时间或者延迟 测试任务所需的整体时间
- 并发性 任意时间内有多少同时发生的并发请求
- 可扩展性 給系统增加一倍的资源，可以获得多少的吞吐量
四、基准测试方法
常见错误❌：
1. 使用真实数据的子集而不是全集。例如应用需要几百GB的数据，测试只有1GB数据
2. 使用错误的数据分布。例如使用均匀分布的数据测试，而系统的真是数据与很多热点区域。
3. 使用不真实的分布参数，例如假定所有用户的个人信息会被平均地读取。
4. 在多用户场景中，只做单用户的测试
5. 在单服务区上测试分布式应用。
6. 与真实用户行为不匹配。例如Web页面中的“思考时间”。真实用户在请求到一个页面会阅读一段时间，而不是不停顿地一个接一个点击相关链接。
7. 反复执行同一个查询。
8. 没有检查错误。本应该慢的查询突然变快了，就应该检查是否有错误产生。
9. 忽略了系统预热的过程
10. 使用默认的服务器配置
11. 测试时间太短。
五、基准测试的注意事项
-
设计和规划基准测试
选择一个有代表性的时间段，比如高峰期一小时，或者一整天，记录生产系统上的所有查询。 -
基准测试应该运行多长时间
有时候无法确认测试需要多长的时间才足够。可以让测试一直运行，持续观察知道确认系统以及稳定。 -
获取系统性能和状态
最好为基准测试建立一个目录，并且每执行一轮测试都创建单独的子目录，将测试结果，配置文件，测试指标，脚本和其他相关说明保存其中。
六、基准测试工具
1. 集成式测试工具
- ab Apache Http服务器基准测试工具。可以测试Http服务器每秒最多可以处理多少请求。只能针对单个URL进行尽可能快的压力测试
- http_load 比ab更加灵活，可以通过一个输入文件提供多个URL，http_load在这些URL中随机选择进行测试，也可以定制，使其按照时间比率进行测试。
- JMeter
是一个java应用程序，可以加载其他应用并测试其性能。它虽然是设计用来测试Web应用的，但也可以用于测试其他诸如FTP服务器。比ab，http_load都要复杂得多。有绘图接口。
2. 单组件式测试工具
- mysqlslap
可以模拟服务器的负载，并输出计时信息。 - MySQL Benchmark Suite（sql_bench）
在Mysql的发行包中也提供了一款自己的基准测试套件，可以用于在不同数据库服务器上进行测试，是单线程的，主要用于测试服务器执行查询的速度。 - sysbench
多线程系统压测工具。可以根据影响数据库服务器性能的各种因素来评估系统的性能，例如，可以用来测试文件I/O、操作系统调度去、内存分配和传输速度、POSIX线程。
七、MySQL 的BENCHMARK()函数
如同，利用BENCHMARK()函数可以测试 MD5()和SHA1()哪个执行更快，但是这个函数只是简单地返回服务器执行表达式的时间，而不会涉及分析和优化的开销，不适合用来做真正的基准测试，因为很难理解真正要测试什么。
部分基准测试工具的使用
根据以上的学习，我在网上找到工具结合高性能MySQL书籍开始试用。
http_load
1. 安装
老办法，官网wget，然后tar 解压
然后cd进入目录，之后make， make install 两个命令安装即可
⚠️1. make前要先有gcc编译器，但一般Linux都有集成
2. 可能会报一个错误：
无法创建普通文件”/usr/local/man/man1”: 没有那个文件或目录
解决方法：mkdir /usr/local/man 手动建立一个就可以
记得重新make install
2.使用
-parallel 简写-p ：含义是并发的用户进程数
-fetches 简写-f ：含义是总计的访问次数
-rate 简写-r ：含义是每秒的访问频率
-seconds 简写-s ：含义是总计的访问时间
url 是你要访问的网址名，参数可以是单个的网址也可以使包含网址的文件
所以可以先创建一个urls.txt，然后每一行放一个url
然后命令行运行 http_load -paraller 1 -seconds 10 urls.txt
即一个并发进程，总计10秒访问时间
当我尝试用500个并发访问时，阿里云学生机已经吃不消了。http_load -parallel 500 -second 10 urls.txt
sysbench
该工具可以在https://github.com/akopytov/sysbench github上面wget，然后解压，之后按照readme的步骤安装
⚠️./autogen.sh 可能报错
需要1. 安装yum install automake 2. 安装yum install libtool
2. 可能在./configure 之后会error，错误信息大概是没找到mysql库之类的，找了各种解决办法，都说配置一下目录，结果还是不对。后来我尝试 yum install mysql-devel ，之后再运行就可以了。
测试1. CPU基准测试
上图可以看到我的服务器的CPU情况
接下来运行测试 sysbench-master]# sysbench ==test=cpu --cpu-max-prime=2000 run
可以看到需要的total时间，这个基准测试可以用来判断两台服务器之间的CPU性能
测试2. 文件I/O基准测试
文件I/O （fileio）基准测试可以测试系统在不同I/O负载下的性能
对于比较不同的硬盘驱动器，不同的RAID卡，不同的RAID模式，都会很有帮助。可以根据测试结果来调整I/O子系统。
1. 准备阶段
sysbench --test=fileio --file-num=16 --file-block-size=16384 --file-total-size=2G prepare- 1
1. 测试运行阶段
sysbench –test=fileio –file-num=16 –file-block-size=16384 –file-total-size=2G –num-threads=4 –max-requests=100000000 –max-time=180 –file-test-mode=seqwr –file-extra-flags=direct run
结果：
–file-test-mode=seqwr（顺序写入）
seqrewr 顺序重写
seqrd顺序读取
rndrd随机读取
rndwr随机写入
rndrw混合随机读／写