分布式存储bfs

来自bilibili的bfs,很喜欢它的分层结构,我认为,把它改造成类似hadoop的平台,也是可以的。

如何实现分布式存储?

其实就是同步元信息和调度的问题,同步元信息可以使用zk,调度具体看应用。bfs的调度是随机的,根据硬盘容量来决定。bfs的调度和存储是分开的,因此可以定制,这也是它的优点之一(不过这方面没有做到插件化)。

存储和调度隔离的方法?

存储是根据整数id作为key,写入到一大块文件上,这个文件也具有一个vid。偏移保存在存储机器上。

vid和所属服务器,存在zk上。

文件名和路径和vid、key的对应关系,存储在hbase等数据库。

这样,通过映射,分离了调度和存储。

实现多备份?

多个备份就会涉及到调度,这里bfs用zk创建多个group实现,相同的资源id可以同时存在不同的group下(利用了zk的树结构),这样就允许了多镜像,即多备份。当然,资源id太多了,是不会直接存在zk上的。

资源id的分配?

通过类似snowflake算法,可以分布式生成唯一id,偶尔down机也没问题。

猜你喜欢

转载自www.cnblogs.com/dearplain/p/9563414.html