TPC-C测试

TPC-C 测试

TPC 是国际事务处理性能委员会简称,该组织是一个负责制定性能测试基准的非盈利委员会,其制定的 TPC-C 测试可衡量数据库在线事务处理能力。

性能和性价比是TPC-C 测试的两个衡量。性能由 tpmC(transactions per minute,tpm)衡量,C 指 TPC 中的 C 基准程序,它的定义是每分钟内系统处理的新订单个数。性价比衡量数据库单位成本,以系统的总价格/tpmC 数值得出。

TPC-C 是开放的测试基准,这样即便是参与测试公司的硬件架构和数据库软件架构有所不同,只要符合其规范,都可以参与测试。同时,TPC-C 测试非常严谨,极大程度杜绝作弊:

首先,TPC-C 要求被测数据库必须满足数据库事务的 ACID,即原子性、一致性、隔离性和持久性,其中隔离性为可串行化隔离级别,持久性要求能够抵御任何单点故障等。这是对 OLTP 数据库的基本要求。

第二,TPC-C 规定被测数据库的性能(tpmC)与数据量成正比,事实上真实业务场景也是如此。TPC-C 测试的基本数据单元是仓库(warehouse),每个仓库的数据量通常在70MB 左右(与具体实现相关),TPC-C 要求终端用户在选择事务类型时,需要按照规定的比例选择五种事务,终端用户每个事务都有一定的输入时间(对每种事务分别固定)和一定范围的随机的思考时间(一个对数函数),根据这些要求,每个仓库所能获得的 tpmC 值的理论上限是12.86(假设数据库的响应时间为0)。

第三,TPC-C 要求被测数据库能够以平稳的性能长期地运行。测试时,去掉启动预热(ramp up)和结束降速(ramp down)时间后,被测数据库至少要性能平稳地(steady state)运行8小时,其中性能采集时段(不少于2小时)内的性能累积波动不得超过2%。

第四,TPC-C 要求被测数据库的写事务的结果必须在一定时间内数据落盘(指数据库数据,不是日志,事实上 redo log 在事务提交前就落盘了),对于具备 checkpoint 功能的数据库,checkpoint 的间隔不得超过30分钟,checkpoint 数据持久化的时间不得超过 checkpoint 间隔。

第五,业务定向优化(profile-directed optimization,PDO)可以提升软件的性能,TPC-C 也允许使用 PDO,但有一些限制,比如采用 PDO 优化的版本需要在客户使用,数据库厂家需要对 PDO 优化的版本提供技术支持等。为了避免可能出现的异议,OceanBase 没有使用 PDO。

TPC-C 的测试成本非常高。如 OceanBase 这次的测试,从 FDR 来看,根据标准要求公开的3年总持有成本中硬件成本就有约为6亿人民币,包括软硬件及服务在内的三年总成本为28亿人民币。OceanBase 团队表示,因为租用了阿里云公有云的 ECS 虚拟机,来替代物理服务器和存储,可以便利扩容/缩容,也节省了成本,“实际测试中我们只需要在阿里云上购买相应 ECS 资源很短的时间,远远低于之前榜单上其它厂商测试的花费”。

然而过高的成本等因素导致一些公司不再参与 TPC-C测试。Oracle 上次测试还是在2010年。当时,Oracle 公司的 SPARC T3-4 Supercluster以30 249 688 tmpC 创造了 TPC-C 性能测试的新纪录。

猜你喜欢

转载自blog.csdn.net/zhuiyunzhugang/article/details/111147653