性能提升76%!采用zData X一体机承载MogDB数据库最佳实践

 摘要 

本次最佳实践采用 zData X 一体机运行 MogDB 数据库。zData X 为2(计算节点)+3(存储节点)+1(管理节点)配置, MogDB 为3.0.2版本。通过执行TPC-C基准测试、模拟硬盘故障和开箱部署,分别针对性能、可用性和易用性三方面进行测试验证:

  • 采用BenchmarkSQL基于TPC-C基准执行测试,在相同测试模型下对比 MogDB 分别基于 zData X 和本地盘两种部署方式的tpmC性能。结果显示 zData X 性能优于本地盘RAID10和RAID6存储模式,其中相对RAID6性能最大提升76%。

  • 高可用方面,zData X 支持三副本模式,最大容忍任意两节点同时故障。通过拔盘模拟硬盘故障,测试过程数据无丢失、业务不中断,数据快速重构恢复至三副本高可用状态。

  • 简捷易用方面,zData X 提供快速安装部署工具和包括 MogDB 数据库在内的系统统一管理能力。

ENMOTECH

1. 测试环境

1.1 MogDB 数据库

MogDB 是云和恩墨基于 openGauss 内核进行增强提升,推出的一款安稳易用的企业级关系型数据库。该产品具备金融级高可用和全密态计算的极致安全、面向多核处理器的极致性能、AI自诊断调优的极致智能能力,能够满足从核心交易到复杂计算的企业级业务需求。本次测试的 MogDB 3.0.2版本,集成了 openGauss 3.0.0版本全部特性,并在兼容性和功能性方面都做了增强。

1.2 zData X 一体机

zData X 一体机是融合高性能计算、高性能分布式存储zStorage、RoCE网络,和数据库管理软件的数据库一体化运行平台。该产品支持多种类型的商业、开源和国产数据库,包括 Oracle、MySQL、PostgreSQL、MogDB、达梦、人大金仓、openGauss 等,并可按需配置,满足不同规模数据库的性能、可靠性和扩展性要求,适用于核心数据库性能加速和多元异构数据库存储资源池化部署等场景。本次测试硬件采用的是H3C UniServer R4900 G5服务器,双路CPU共48个核心。zData X 充分利用硬件多核优势,通过CPU绑定访问对象,以及对访存机制进行优化,线程无锁化设计,减少锁争抢和排队的开销。

硬件详细配置如下:

72efdb8ebd1baf96db7c4f480e56a69d.png

9322ccfa7a41dd5c243ae216302a44ec.png

由于 zData X 底层采用分布式存储架构,所以和本地盘部署模式对比时,需要选择相同型号的硬盘和相同的可用存储容量以保障可比性,即 zData X 在3存储节点、每节点4块数据盘、3副本模式下,可用容量为4×1.92TB;而本地盘存储采用8块数据盘做RAID10,可用容量同样为4×1.92TB。

1.3 测试组网

d0bd0c6776ac77cfac74bd5085e29a60.jpeg

ENMOTECH

2. 性能PK,MogDB基于zData X部署 vs MogDB本地盘部署

测试使用BenchmarkSQL基于TPC-C基准执行,模拟生成1000个仓库的数据量,对比 MogDB 3.0.2部署在 zData X 上三副本存储模式和 MogDB 3.0.2本地盘部署RAID10和RAID6模式下的tpmC性能(均基于相同型号NVMe SSD)。

本次测试使用的软件版本如下:

552b40735556ddd95737325a51284932.png

2.1 TPC-C性能测试对比

  1. 借助BenchmarkSQL工具生成1000个仓库的数据量,分别对 zData X 的一个计算节点和本地盘存储环境模拟业务下发数据进行测试。MogDB 数据库开启fsync与synchronous_commit。

  2. 检查 zData X 的存储节点绑核、副本策略和多路径策略,以及另一环境的RAID策略,没有降级。

  3. 运行5分钟后,通过修改terminals值,分别测试在不同并发访问压力下的性能表现,共测试32/64/128/256几组并发下的tpm值。

测试结果如下:

b4489d25ee513c1aebf9d9a66b0bb170.png

04b866d3682a0c5ae9a74d5ac0a3efd1.png

通过数据对比可以看到,随着用户数的增加,不同存储模型下tpm值均呈增加趋势,但到一定阈值后不再增加,甚至略微降低。在相同测试方法、相同硬件配置下,zData X 三副本存储性能比本地盘RAID10、RAID6的tpmC性能更好。zData X 比传统RAID10性能略高,比传统RAID6最大提升76%。

ENMOTECH

3. 模拟硬盘故障,测试系统可靠性和数据可用性

本次使用的 zData X 配置2个计算节点、3个存储节点和1个管理节点,搭建中即可看到计算节点、存储节点、交换机、存储心跳链路均为全冗余设计,没有单点故障。

zData X 使用的三副本模式,相比于RAID10和RAID6,三副本数据除支持最大两盘同时损坏数据不丢失外,还支持最大两节点同时故障业务不中断,可用性相对本地盘部署高出一个级别。zData X 也可以支持两副本模式,在创建存储池时用户可根据需要选择副本冗余模式和安全级别。

129585716c929117dc03229f80365ee6.png

此外,zData X 基于的分布式存储的数据快速重构在数据可用性上又多了一层保障。通过拔盘方式模拟 zData X 的硬盘出现故障,可以测试 zData X 的数据重构。

  1. 在 zData X 3.0.1上划分4个1TB的卷,使用fio工具将所有卷顺序写满。

  2. 拔掉存储池中的一个硬盘,等待15分钟后即可看见数据开始重构(重构的硬盘修复等待时间默认是15分钟)。

61c7493dc0c32ec7a95f87bb0afc9ca0.png

6289769218892521a1b644ff34d7501b.png

可以看到重构速度在4.38GB/S,重构的进度和速度在 zData X 中都有直观展示。模拟过程中,zData X 3.0.1存储池重构并行度参数的默认值没有改变,默认是12个子进程。这里最大可以设置为31个,重构子进程越多,意味着重构的速度会越快。重构完成后,zData X 恢复到三副本数据最高可用性保障模式。

ENMOTECH

4. 从开箱使用验证安装部署和系统运维管理易用性

zData X 和 MogDB 安装部署步骤:

  1. 硬件部署:完成硬件搭建,随后进行硬件的IP、端口、时间等初始化设置。

  2. 管理节点系统安装仅配置分区和网络,安装 zData X 管理软件及相关组件,其余设置项默认已经配置好,不需要再进行设置。

  3. 随后所有的安装和部署则使用 zData X web页面,可以向导化部署计算节点、存储节点,纳管交换机并初始化存储、设置存储池,安装 MogDB 数据库等。

d1aabbde860a30e878423f2c73037356.png

整个部署过程由向导引导完成。以路径管理服务为例,计算节点部署完成后,zData X 会自动扫盘,生成多路径配置文件,刷新多路径配置,并自动检查卷映射的数量和多路径配置情况。

3f18dd63e613e525a4cbe803746bdad6.png

安装部署完成后,即可统一进行软硬件管理,存储资源、数据库及服务分配、权限管理等。

557d1977f9f43b109f4a61aa33be7793.png

zData X 同时提供对数据库的运维管理能力。在数据库监控上,zData X 监控范围包括设备、主机性能、I/O性能,支持用户设置告警模板的功能,部署完成后 zData X 会自动把节点和对象添加到模板对象中,不同数据库也有对应的告警模板,用户可以根据当前安装的数据库类型,创建对应的模板,并调整模板对应监控项的阈值以及告警方式,将已有数据库添加进去即可。用户可以选择系统已经预置的预定义告警项,也可以自定义添加告警指标。

7fe31b4bb79bfce5473ea8d526d453a7.png

告警信息集中展示,通过点击告警信息,即可进行深度问题下钻,不需要来回切换页面。

cce35ebedc2c90d899496b0fcc88a660.png

巡检部分可以设置手动或自动化巡检,zData X 同样预置了巡检项,并支持导出巡检报告。自动化巡检可设置巡检周期,定期为数据库运行做健康检查。

a1234c41a54dd886a2e10825eee0f21d.png

fbb9fa0a66e4500eed1b346e367a5ef4.gif

数据驱动,成就未来,云和恩墨,不负所托!


云和恩墨创立于2011年,以“数据驱动,成就未来”为使命,是智能的数据技术提供商。我们致力于将数据技术带给每个行业、每个组织、每个人,构建数据驱动的智能未来。

云和恩墨在数据承载(分布式存储、数据持续保护)、管理(数据库基础软件、数据库云管平台、数据技术服务)、加工(应用开发质量管控、数据模型管控、数字化转型咨询)和应用(数据服务化管理平台、数据智能分析处理、隐私计算)等领域为各个组织提供可信赖的产品、服务和解决方案,围绕用户需求,持续为客户创造价值,激发数据潜能,为成就未来敏捷高效的数字世界而不懈努力。

f7088caf9db2426e95a8c3c501aa2a2f.gif

猜你喜欢

转载自blog.csdn.net/weixin_54551388/article/details/134879020