Hyperledger Caliper
https://github.com/hyperledger/caliper
https://github.com/cao0507/Hyperledger-caliper
Caliper 是一个区块链性能基准测试框架，它允许用户使用预定义的用例测试不同的区块链解决方案，并获得一组性能测试结果。
目前支持的性能指标：
- 成功率
- 事务吞吐量
- 事务延迟（最小值、最大值、平均值、百分比）
- 资源消耗（CPU、内存、网络 IO 等）
架构
适配层
使用适配层将现有的区块链系统集成到 Caliper 框架中。每个适配器通过使用相应的区块链的原生 SDK 或 RESTful API 来实现区块链的 Caliper NBI。
接口和核心层
接口和核心层实现核心功能，并为上行应用程序（up-applications）提供了北向接口，共四种 NBI：
- 区块链操作接口：包含在后端区块链上部署智能合约、调用合约、从分类账查询状态等操作。
- 资源监控器：包含启动、停止监控器和获取后端区块链系统的资源消耗状态的操作，包括 CPU、内存、网络 IO 等。目前提供了两种监控器，一种是监控本地和远程 docker 容器，另一种是监控本地进程。
- 性能分析器：包含读取预定义性能统计数据（包括 TPS、延迟、成功率等）和打印基准测试结果的操作。在调用区块链 NBI 时记录关键指标，例如事务的创建时间和提交时间、事务结果等。
- 报告生成器：包含用于生成 HTML 格式测试报告的操作。
应用层
应用层包含针对典型区块链场景实现的测试。每个测试都有一个配置文件，用于定义后端区块链网络和测试参数。
内置了一个默认基准测试引擎，用来帮助开发人员理解框架，并快速实现自己的测试。开发人员可以在没有框架的情况下直接使用 NBI 来实现他们的测试。
基准测试引擎：
Master：
Master 实现了一个包含三个阶段的默认测试流：
- 准备阶段：在此阶段，Master 使用区块链配置文件创建并初始化内部区块链对象，按照配置中指定的方式部署智能合约，并启动监控器对象来监控后端区块链系统的资源消耗。
- 测试阶段： Master 根据基准测试配置文件启动一个循环测试、来执行测试。任务将根据定义的工作负载生成并分配给 Client。将存储客户的性能统计返回，以供以后分析。
- 报告阶段：分析每一轮测试的所有客户端统计数据，并自动生成 HTML 格式报告。
Client：
Local Client：
在这种模式下，Master 使用 Node.js 集群模块分叉多个 Local Client 来进行实际的测试工作。
Zookeeper Client：
在这种模式下，多个 Zookeeper Client 独立启动。Zookeeper 客户端将在启动后注册并监控测试任务。测试之后，将创建一个包含性能统计结果的 znode。
Caliper 示例报表格式：
配置文件：
使用两种配置文件。一个是基准测试配置文件，它定义了类似工作负载的基准测试。
另一个是区块链配置文件，它指定了有助与 SUT 交互的必要信息。
