CubeFS 2023 年度总结

CubeFS 在过去的一年中推出了许多新特性,特别是在可靠性和稳定性方面进行了大量修复和优化。与此同时,过去的一年也被称为大模型元年,CubeFS 为大模型推出了高性能客户端缓存,以支撑 AI 训练及混合云场景。值此新春佳节来临之际,我们对过去一年进行总结盘点,并展望未来一年的规划目标。

PART.1 产品迭代

在过去的一年中,CubeFS 社区共发布了三个版本,每个版本都有很多令人期待的变化。其中,3.2.1 版本和 3.3.0 版本的优化较大,修复了许多稳定性问题,并引入了一些重要的新特性,如原子性、配额、对象存储增强和纠删码架构简化。3.3.1 版本也推出了许多优化和实用的特性,比如回收站、服务端审计和垃圾清理工具。此外,这个版本还通过了 CNCF 的安全审计,在系统安全方面取得了重要进展。让我们来总结一下这些相关特性:

系统特性

  • posix 接口原子性:统一解决分布式场景下数据、元数据多步多节点操作一致性问题,减少文件操作异常,提高可用性、可靠性。
  • 回收站:解决经常出现的用户大规模误删除问题。
  • 目录联合配额:解决如存储混用卷的目录统计进而解决容量限制、计费。
  • 客户端缓存加速:AI 端侧公有云场景使用。
  • 审计:客户端和服务端审计功能,追踪文件操作。
  • 系统冻结(禁用卷):秒级响应业务,解决用户误操作、恶意操作。

纠删码子系统

  • AzureLRC:支持 AzureLRC,AzureLRC+1 支持多机房坏 g+1 块盘的特性。
  • Proxy 缓存:Proxy 缓存卷和磁盘信息(去除 memcache),Proxy 卷分配优化。
  • Scheduler 支持 Kafka 消费组,支持可配置地并发批量删除 Blob。
  • Blobnode Qos 磁盘限速优化,支持单盘读写线程限制。
  • 优化数据巡检流程,支持动态调整速率、动态开关控制。
  • 审计日志 Filter:审计日志新增功能更强的 Filter 过滤器。

对象子系统

  • 兼容性增强:修复 S3 接口历史兼容性问题,提高 objnode 稳定性。
  • CORS 功能:支持浏览器跨域功能。
  • 权限管控:Bucket Policy、Bucket/Object ACL 权限管控特性。
  • WORM 特性:对象删除保护功能。
  • 重构签名算法:兼容 S3 V2 / V4 签名算法。

PART.2 社区发展

去年一年在主干的 commit 超过 1200+,同比增长 200%;issue 数量达到 400 左右,同比增长 100%;社区用户增长 50%,推出社区技术类文章 40 篇,组织月度例会 6 次,star 达到 4.2 K。

同时加强生态合作,与 fluid、osc 开源社区、soda 基金会等进行了不同形式的合作探索,同时这几年也在加强同社区的主力 committer 合作,京东、OPPO、BIGO、贝壳等都为社区提供了非常重要的特性和修复。

PART.3 用户情况

PART.4 生态建设

Helm 编排部署

CubeFS 支持在 AWS 的 EKS、Azure 的 AKS、GCP 的 GKE 以及阿里云的 ACK 上使用 Helm 的方式编排部署,包括以下组件:

  • Master
  • MetaNode
  • DataNode
  • ObjectNode
  • csi

Operator 部署

为了更好地管理 CubeFS,提高效率、降低错误率,实现更高层次的自动化和自动化故障恢复,提供 CubeFS 的 Operator,主要功能包括:

  • 集群的初始化部署
  • 集群配置变更
  • 集群版本升级
  • 集群扩容

同时,Operator 也支持 AWS 的 EKS、Azure 的 AKS、GCP 的 GKE 以及阿里云的 ACK。

PART.5 官网优化

PART.6 后续规划

架构重构

  • 存储引擎重构,提供 append only 文件系统,数据读写具有更低延时、更高吞吐。
  • 混合云:混合云项目支持统一命名空间,提供混合使用多存储系统的能力,提供外部 S3、HDFS 能力。支持生命周期驱动数据在不同介质、存储类型、云上云下之间流动,降本增效。一期即将发版 。

稳定性、可靠性提升

  • 磁盘 CRC 增强,提高主从同步、随机写等 CRC 校验能力。
  • 磁盘自动化迁移,减少迁移过程元数据信息的原子性问题,提高运营自动化水平。
  • 系统模块运营监控、告警加强,增强可观测性。
  • 数据节点增加 learner 能力,支持同城多活部署。

性能提升

  • 全链路加速,更好支撑数据库存算分离、AI 训练加速等场景。
    • 客户端:提供内核客户端,并支持 GDS (GPU Direct Storage)、RDMA 技术,降低 IO 时延及 CPU 开销。
    • 服务端:基于 RDMA 重建通信机制,从而整体上降低读写服务的延迟,提高吞吐能力。
    • 分布式缓存:进一步优化分布式多级缓存架构,支持跨机房、跨云的读写加速能力,支撑 AI 训练加速需求。
  • 优化现有系统基于 TCP 链路的读写能力。
  • 优化客户端本地缓存 (一级缓存) 性能。

特性

  • 基于 RocksDB 实现元数据存储,元数据全量缓存优化为按需缓存,降低内存开销。
  • 纠删码子系统移除 Kafka 组件依赖,提供 SDK 供直接客户端直接接入,缩短数据传输路径。
  • 提供事件通知特性、S3api QoS、objnode 审计日志功能、跨区域复制、QPS 及带宽计量计费能力。

CubeFS 简介

CubeFS 于 2019 年开源并在 SIGMOD 发表工业界论文,目前是云原生计算基金会 (CNCF) 托管的孵化阶段开源项目。作为新一代云原生分布式存储平台,兼容 S3、POSIX、HDFS 等协议,支持多副本和纠删码引擎,提供多租户,多 AZ 部署、跨区域复制等特性;适用于大数据、AI、容器平台、数据库及中间件存算分离,数据共享、数据保护等广泛场景。

猜你喜欢

转载自www.oschina.net/news/278400
今日推荐