本次主要针对k8s环境下不同的存储openebs和ceph进行benchmark测试
集群环境
两个集群环境出了存储不同，broker、topic信息均相同
kafka Info：5个broker
Topic Info：副本数3；分区30
kafka server version：2.6.0
生产者测试
消息数：100w；每条消息大小：10byte
| 存储类型 |
每秒发送消息数 (records/sec) |
发送速率 (MB/sec) |
平均延迟 (ms) |
最大延迟 (ms) |
50% (ms) |
95% (ms) |
99% (ms) |
99.9% (ms) |
|---|---|---|---|---|---|---|---|---|
| openebs | 956022 | 9.12 | 4.26 | 161.00 | 3 | 9 | 23 | 31 |
| ceph | 862812 | 8.23 | 4.83 | 155.00 | 4 | 10 | 35 | 67 |
消息数：100w；每条消息大小：100byte
| 存储类型 |
每秒发送消息数 (records/sec) |
发送速率 (MB/sec) |
平均延迟 (ms) |
最大延迟 (ms) |
50% (ms) |
95% (ms) |
99% (ms) |
99.9% (ms) |
|---|---|---|---|---|---|---|---|---|
| openebs | 822368 | 78.43 | 3.31 | 171.00 | 3 | 6 | 19 | 37 |
| ceph | 915750 | 87.33 | 2.48 | 164.00 | 2 | 4 | 9 | 22 |
消息数：100w；每条消息大小：1kb
| 存储类型 |
每秒发送消息数 (records/sec) |
发送速率 (MB/sec) |
平均延迟 (ms) |
最大延迟 (ms) |
50% (ms) |
95% (ms) |
99% (ms) |
99.9% (ms) |
|---|---|---|---|---|---|---|---|---|
| openebs | 366703 | 358.11 | 74.59 | 161.00 | 71 | 115 | 126 | 142 |
| ceph | 250000 | 244.14 | 98.46 | 1481.00 | 71 | 115 | 1440 | 1476 |
消息数：100w；每条消息大小：2kb
| 存储类型 |
每秒发送消息数 (records/sec) |
发送速率 (MB/sec) |
平均延迟 (ms) |
最大延迟 (ms) |
50% (ms) |
95% (ms) |
99% (ms) |
99.9% (ms) |
|---|---|---|---|---|---|---|---|---|
| openebs | 225479 | 440.39 | 59.57 | 170.00 | 59 | 83 | 97 | 112 |
| ceph | 140904 | 275.20 | 96.59 | 1274.00 | 12 | 439 | 1111 | 1269 |
消息数：100w；每条消息大小：4kb
| 存储类型 |
每秒发送消息数 (records/sec) |
发送速率 (MB/sec) |
平均延迟 (ms) |
最大延迟 (ms) |
50% (ms) |
95% (ms) |
99% (ms) |
99.9% (ms) |
|---|---|---|---|---|---|---|---|---|
| openebs | 125062 | 488.53 | 47.45 | 181.00 | 46 | 73 | 99 | 115 |
| ceph | 92276 | 360.45 | 64.75 | 1411.00 | 6 | 226 | 1023 | 1397 |
消息数：100w；每条消息大小：8kb
| 存储类型 |
每秒发送消息数 (records/sec) |
发送速率 (MB/sec) |
平均延迟 (ms) |
最大延迟 (ms) |
50% (ms) |
95% (ms) |
99% (ms) |
99.9% (ms) |
|---|---|---|---|---|---|---|---|---|
| openebs | 62309 | 486.79 | 32.40 | 218.00 | 23 | 131 | 154 | 206 |
| ceph | 32344 | 252.69 | 62.84 | 4519.00 | 6 | 138 | 1702 | 4512 |
消费者测试
消费者参数均为：线程数：10；每次拉取消息大小：1mb
每条消息大小：10byte
| 存储类型 | 消息总大小(MB) data.consumed.in.MB |
每秒传输数据大小(MB) MB.sec |
每秒消费消息数 nMsg.sec |
均衡耗时(ms) rebalance.time.ms |
拉取耗时(ms) fetch.time.ms |
每秒拉取数据(MB) fetch.MB.sec |
每秒拉取消息数 fetch.nMsg.sec |
|---|---|---|---|---|---|---|---|
| openebs | 9.5367 | 2.6308 | 275862.0690 | 3012 | 613 | 15.5575 | 1631321.3703 |
| ceph | 9.5367 | 2.6200 | 274725.2747 | 3013 | 627 | 15.2101 | 1594896.3317 |
每条消息大小：100byte
| 存储类型 | 消息总大小(MB) data.consumed.in.MB |
每秒传输数据大小(MB) MB.sec |
每秒消费消息数 nMsg.sec |
均衡耗时(ms) rebalance.time.ms |
拉取耗时(ms) fetch.time.ms |
每秒拉取数据(MB) fetch.MB.sec |
每秒拉取消息数 fetch.nMsg.sec |
|---|---|---|---|---|---|---|---|
| openebs | 95.3674 | 25.4993 | 267379.6791 | 3010 | 730 | 130.6403 | 1369863.0137 |
| ceph | 95.3674 | 25.5130 | 267522.7394 | 3012 | 726 | 131.3601 | 1377410.4683 |
每条消息大小：1kb
| 存储类型 | 消息总大小(MB) data.consumed.in.MB |
每秒传输数据大小(MB) MB.sec |
每秒消费消息数 nMsg.sec |
均衡耗时(ms) rebalance.time.ms |
拉取耗时(ms) fetch.time.ms |
每秒拉取数据(MB) fetch.MB.sec |
每秒拉取消息数 fetch.nMsg.sec |
|---|---|---|---|---|---|---|---|
| openebs | 976.5625 | 197.2057 | 201938.6107 | 3010 | 1942 | 502.8643 | 514933.0587 |
| ceph | 976.5625 | 185.8703 | 190331.1762 | 3010 | 2244 | 435.1883 | 445632.7986 |
每条消息大小：2kb
| 存储类型 | 消息总大小(MB) data.consumed.in.MB |
每秒传输数据大小(MB) MB.sec |
每秒消费消息数 nMsg.sec |
均衡耗时(ms) rebalance.time.ms |
拉取耗时(ms) fetch.time.ms |
每秒拉取数据(MB) fetch.MB.sec |
每秒拉取消息数 fetch.nMsg.sec |
|---|---|---|---|---|---|---|---|
| openebs | 1953.1250 | 326.8281 | 167336.0107 | 3009 | 2967 | 658.2828 | 337040.7819 |
| ceph | 1953.1250 | 315.8863 | 161733.7862 | 3010 | 3173 | 615.5452 | 315159.1554 |
每条消息大小：4kb
| 存储类型 | 消息总大小(MB) data.consumed.in.MB |
每秒传输数据大小(MB) MB.sec |
每秒消费消息数 nMsg.sec |
均衡耗时(ms) rebalance.time.ms |
拉取耗时(ms) fetch.time.ms |
每秒拉取数据(MB) fetch.MB.sec |
每秒拉取消息数 fetch.nMsg.sec |
|---|---|---|---|---|---|---|---|
| openebs | 3906.2500 | 467.0313 | 119560.0191 | 3010 | 5354 | 729.5947 | 186776.2421 |
| ceph | 3906.2500 | 469.8965 | 120293.5162 | 3011 | 5302 | 736.7503 | 188608.0724 |
每条消息大小：8kb
| 存储类型 | 消息总大小(MB) data.consumed.in.MB |
每秒传输数据大小(MB) MB.sec |
每秒消费消息数 nMsg.sec |
均衡耗时(ms) rebalance.time.ms |
拉取耗时(ms) fetch.time.ms |
每秒拉取数据(MB) fetch.MB.sec |
每秒拉取消息数 fetch.nMsg.sec |
|---|---|---|---|---|---|---|---|
| openebs | 7812.5000 | 587.2735 | 75171.0141 | 3011 | 10292 | 759.0847 | 97162.8449 |
| ceph | 7812.5000 | 517.3498 | 66220.7801 | 3011 | 12090 | 646.1952 | 82712.9859 |