Xline v0.3.0: 一个用于元数据管理的分布式KV存储

 

Xline是什么?我们为什么要做Xline?

Xline是一个基于Curp协议的,用于管理元数据的分布式KV存储。现有的分布式KV存储大多采用Raft共识协议,需要两次RTT才能完成一次请求。当部署在单个数据中心时,节点之间的延迟较低,因此不会对性能产生大的影响。

但是,当跨数据中心部署时,节点之间的延迟可能是几十或几百毫秒,此时 Raft 协议将成为性能瓶颈。Curp 协议就是为了解决这个问题而设计的。它可以在命令不冲突的情况下减少一个RTT,从而提高性能。因此,Xline旨在实现高性能的数据访问和跨数据中心场景下的强一致性。

V0.3.0版本有什么新功能?

本版本主要改动为引入一个持久化层的内容,由于本身改动比较大,故单独提取一个版本出来,新版本的改进包含以下内容:

特点:

  • 实现一个持久化存储层,以实现持久性,包括:
  • 实现一个存储引擎层来抽象出具体的存储引擎,比如rocksdb,并启用上层存储功能(#185, #187)。
  • 启用Curp和Xline的恢复机制(#194, #184)。

修复bug:

  • 修复并发的cmd顺序错误(#197)

由于此前的存储都于内存中完成,因此如果进程崩溃了,数据恢复需要较长时间。基于此方面的考量,Xline现在引入一个持久化层,会将数据存储到磁盘上。同样,基于此前收到的“建立在内存基础上的性能测试是否具有说服力”的质疑,经过仔细考量,我们决定在此基础上做一个benchmark,结果预计会于v0.3.1 中展示。

欢迎参与到Xline项目中

我们欢迎任何对于Xline的积极贡献。目前在GitHub上有些任务并不需要深入了解Curp协议或Xline这个项目,只需要了解API和Rust语言即可。即使您现处于入门阶段,并想要在开源项目中使用Rust语言,社区也会提供指导和帮助,来引导您更好地参与项目。Xline的建设需要每一位对此感兴趣且愿意付出的你们的参与,我们期待你们的加入。

相关链接

· GitHubhttps://github.com/datenlord/Xline

· Curp相关论文https://www.usenix.org/system/files/nsdi19-park.pdf

· Curp相关文章https://medium.com/@datenlord/curp-revisit-the-consensus-protocol-384464be1600

· Xline官网www.xline.cloud

往期文章推荐:

Xline v0.2.0: 一个用于元数据管理的分布式KV存储icon-default.png?t=N2N8https://blog.csdn.net/DatenLord/article/details/129090170?spm=1001.2014.3001.5501DatenLord | Xline Geo-distributed KV Storageicon-default.png?t=N2N8https://blog.csdn.net/DatenLord/article/details/126301572?spm=1001.2014.3001.5501​​​​​​​

达坦科技(DatenLord)专注下一代云计算——“天空计算”的基础设施技术,致力于拓宽云计算的边界。达坦科技打造的新一代开源跨云存储平台DatenLord,通过软硬件深度融合的方式打通云云壁垒,实现无限制跨云存储、跨云联通,建立海量异地、异构数据的统一存储访问机制,为云上应用提供高性能安全存储支持。以满足不同行业客户对海量数据跨云、跨数据中心高性能访问的需求。

公众号:达坦科技DatenLord

知乎账号:达坦科技DatenLord - 知乎

B站https://space.bilibili.com/2017027518

猜你喜欢

转载自blog.csdn.net/DatenLord/article/details/129753873