Ceph分布式存储高性能设计

随着数据量的不断增长,如何以高效的方式存储数据量成为IT界的一个挑战。许多传统存储解决方案不能满足日益增长的需求,业界迫切需要一种新的方法来管理现今的数据,为用户控制访问时间,缩减管理成本。

软件定义的存储解决方案是存储大量数据的一个新兴方案。当代网络,云计算、大数据技术的应用使得数据呈指数增长,每天增长达百万兆背景字节的数据量是常见的情况。我们迫切需要一种更有效的解决方案,如可伸缩扩展的软件定义存储解决方案Ceph。

Ceph是一个具有高度可扩展性、开放源码的软件定义存储解决方案,能够提供基于对象,块和文件系统的统一的分布式存储集群服务。Ceph可以改造公司的IT基础设施来管理海量数据,并提供非常好的可扩展性,存储集群可以容纳大量的利用硬件和守护进程的分布式存储节点,互相之间复制分发数据。Ceph监控在Ceph存储集群的也具有分布式的特点,从而保证高可用性。

一个高度可扩展的容错存储集群,网络架构和运行Ceph的MON(Monitor,监控)和Ceph OSD(Object Storage Device,提供存储资源)一样重要。对于Ceph存储集群的主要指标就是高扩展性和高可用性,因此,网络显然必须有能力处理预期的客户端数量和每个客户端的吞吐量。该网络还必须处理Ceph OSD的心跳、数据复制、集群再平衡以及故障恢复。在正常操作中,一个单独写主OSD的操作会间接导致写非主的OSD,写的次数基于我们的复制因子。因此,集群网络的流量显著超过了公众网络在正常工作条件下的流量,在公共网络中,Ceph客户端读取和写入数据到Ceph OSD守护进程以及发送OSD心跳信息,而在集群网络,Ceph OSD守护进程彼此检查Ceph OSD的心跳信息,当系统出问题的时候,发送状态报告给监视器,复制对象,重平衡集群以及实现backfill和恢复。

WinStore是云宏提供的企业级分布式软件定义块存储解决方案。它针对Ceph在性能方面进行深度优化,对可靠性、易用性、可管理性实施改进,实现自动化运维。WinStore不但可支持运营商实现PB级以上容量的存储资源池,也可帮助企业实现成本可控的小规模水平扩展存储,整合或替代现有中端存储设施,或构建应用融合方案,支撑各种OLTP或OLAP业务应用。WinStore分布式块存储可以帮助用户发挥通用的x86服务器硬件设施的性能潜力,在管理特性、效能和接口各方面达到传统SAN设备的水平,并具备水平扩展的能力,让用户在TCO可控的情况下轻松实现“软件定义存储”的目标。

区别于开源的Ceph,WinStore在关键环节进行了深度代码优化,包括网络和磁盘处理效率的优化、数据分层与缓存机制的优化等,使得存储系统能够胜任高并发、高输入输出效率的需求,与主流NVMe闪存技术相结合,通过SPDK新协议栈优化IO路径,突破单节点数千IOPS的瓶颈;通过配置不同性能的通用硬件,无缝适应冷热数据切换等各种应用场景的性能需求。同时WinStore也具有卷级的QoS(Quality of Service)设置,支持最为广泛的客户应用接口。

猜你喜欢

转载自blog.csdn.net/gcttong00/article/details/86063462