Raptor Chain边缘存储计算技术与分片技术

前文多次提到了Raptor Chain是迎合了5G与大数据时代,从而诞生出来的一个基于区块链技术的去中心化边缘计算网引擎,那么可能很多人没有了解与真正明白Raptor Chain的技术特点,那么接下来本文将着重为大家介绍一下Raptor Chain的超强技术。

Raptor Chain边缘计算技术

以前的网络技术,使用传统的存储方式存储数据,都存在使用不方便、数据易丢失、管理麻烦等诸多问题,特别是水灾、火灾等自然灾害或者突发事件可能导致本地存储信息的大量丢失或损坏,造成灾难性后果。同时,用户对于存储系统读写性能、并发访问数量、数据安全性和可靠性及系统整体能耗大幅降低的要求也越来越高。

当用户数据量快速膨胀的情况下,传统的NAS和SAN网络存储的系统性能将出现瓶颈,在容量、性能、功耗等方面提出了严峻的挑战。另外一方面,随着AI深度学习额增强现实技术的广泛应用,边缘设备呈现出智能化趋势,数据处理需要具备实时性。

Raptor Chain中,采用的边缘存储为边缘计算的发展提供了较为可靠的支撑

业务分离:边缘存储中,业务和数据存储均采用独立的设备进行数据的存取。其中Metadata主要为元数据管理,Business data为业务数据存储,实现业务分离。

元数据加速:在文件系统的常见操作中,对Metadata的访问量最大,如属性设置与查询等。为了进一步加快Metadata访问速度,边缘存储在元数据存储节点中使用了智能算法将矿工的存储材质的优劣不同存放元数据。因此,相对于传统存储,边缘存储可根据实际使用情况和实际资源情况进行智能调配,实习读写性能高、延时小、无噪声污染等特点。

热点数据访问:当大量请求同时访问某文件时,该文件被称为热点数据。边缘存储自动统计最近一段时间内的各个文件的访问频度,并计算出该文件在单位时间内的访问次数。当访问次数超过一定值时,系统将自动把该文件保存在缓存中,从而提高对热点数据的访问速度。

云存储、分布式存储是数据存储过程将数据文件分割为数据块,并根据一定的副本策略分布在不同的的和数据节点上,以确保资源的可靠性。但是由于在副本数量达到一定量的时候,增加的副本数量对数据可靠性提升将不再明显,反而会造成存储空间浪费,因此一般运存储系统会将副本进行限额,这主要体现在

01

副本的生成与处理为系统带来额外开销,导致副本管理的效果和成本显著提升。

02

存储时间短、访问量较小的数据文件,仅仅考虑副本冗余也造成了资源的大量浪费和用户访问效能。

Raptor Chain在存储网络规划中,针对不同数据、不同目录、不同存储类型(SSD、HDD、ARCHIVE等)进行了规划,以解决现有问题(详见计算网络),分别为:

数据节点可靠性建模

网络链路可靠性建模

副本服务可靠性模型

数据副本可靠统一分布

为了提高边缘储系统的资源利用效能,分析存储节点本身及其访问情况,构建副本、数据服务可靠性模型,实习副本存储节点选择算法、可靠分布算法,实现基于可靠性模型的副本管理策略能对云存储系统应用效果保障与冗余度降,不断提升Raptor Chain中边缘存储的可靠性

Raptor Chain分片技术

Raptor Chain系统计算和存储容量采用分片处理技术,以支持全球范围内的高频次交易。每个节点根据自身的计算和存储能力选择加入一到多个分片,并处理和存储这些分片上的交易。全网节点可并行的处理和存储不同的交易数据,使得全网交易处理能力不在受限于单一节点,单一节点也不需计算、存储全网数据。

Raptor Chain网络中将特点的分片只存储部分状态,其主要任务包括:

高频交易:随着交易量的不断增加,将引入更多的边缘计算能力;

最快恢复:当存储系统中一个存储节点遭受破坏、网络闪断等情况导致数据不一致时,将支持Metadata和数据节点的分片冗余方式,重新分配数据分片至稳定节点,达到数据存储的延续性。

最快读取:边缘存储通过文件预读算法,实现对大容量连续读取场景的支持。智能化的预读机制可以把即将使用的内容提前读入到Raptor Chain缓存中,从而增加缓存命中率,提升读取性能,特别适合流媒体播放等应用场景。

逻辑碎⽚是Raptor Chain中最⼩的单元,并且包含所有共享相同分区密钥的各个数据单元。分区密钥是唯⼀的标识符,允许访问分⽚⽤于检索信息。在Raptor Chain中,分区密钥允许去中⼼化应⽤有效地从正确识别的叶群中存储和检索数据。



作者:PoCU共识社区
链接:https://www.jianshu.com/p/8d063041407a
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

发布了276 篇原创文章 · 获赞 134 · 访问量 105万+

猜你喜欢

转载自blog.csdn.net/iamonlyme/article/details/104402150
今日推荐