Raptor Chain edge storage and computing technology slicing

Previously mentioned several times Raptor Chain is catered to 5G and big data era, which is born out of a tile-based chain technology decentralized network edge computing engine , so many people may not understand and really understand the technical characteristics of the Raptor Chain, then the next article will focus on as we introduce the super-technology Raptor Chain.

Raptor Chain edge TECHNIQUES

Previous network technology, the use of traditional storage methods to store data, there are inconvenient to use, easy to lose data, trouble management and many other issues, especially floods, fires and other natural disasters or emergencies may lead to considerable loss of information stored locally or damaged, resulting in disastrous consequences . At the same time, users have become more sophisticated storage system for read and write performance, the number of concurrent access, data security and reliability and significantly reduce overall system power consumption requirements.

When the user rapidly expanding amount of data, the traditional system performance NAS and SAN network storage bottleneck will occur, poses a severe challenge in terms of capacity, performance, power consumption and so on . On the other hand, as the amount of deep learning AI enhanced reality technology is widely used, showing a trend of intelligent edge devices, need to have real-time data processing.

In the Raptor Chain, the use of the edge are stored as edge computing development of a more reliable support .

The traffic separating : Edge storage, and a data storage service independent devices are used for data access. Metadata predominantly wherein the metadata management, Business data for the service data storage for operational separation.

元数据加速:在文件系统的常见操作中,对Metadata的访问量最大,如属性设置与查询等。为了进一步加快Metadata访问速度,边缘存储在元数据存储节点中使用了智能算法将矿工的存储材质的优劣不同存放元数据。因此,相对于传统存储,边缘存储可根据实际使用情况和实际资源情况进行智能调配,实习读写性能高、延时小、无噪声污染等特点。

热点数据访问:当大量请求同时访问某文件时,该文件被称为热点数据。边缘存储自动统计最近一段时间内的各个文件的访问频度,并计算出该文件在单位时间内的访问次数。当访问次数超过一定值时,系统将自动把该文件保存在缓存中,从而提高对热点数据的访问速度。

云存储、分布式存储是数据存储过程将数据文件分割为数据块,并根据一定的副本策略分布在不同的的和数据节点上,以确保资源的可靠性。但是由于在副本数量达到一定量的时候,增加的副本数量对数据可靠性提升将不再明显,反而会造成存储空间浪费,因此一般运存储系统会将副本进行限额,这主要体现在

01

副本的生成与处理为系统带来额外开销,导致副本管理的效果和成本显著提升。

02

存储时间短、访问量较小的数据文件,仅仅考虑副本冗余也造成了资源的大量浪费和用户访问效能。

Raptor Chain在存储网络规划中,针对不同数据、不同目录、不同存储类型(SSD、HDD、ARCHIVE等)进行了规划,以解决现有问题(详见计算网络),分别为:

数据节点可靠性建模

网络链路可靠性建模

副本服务可靠性模型

数据副本可靠统一分布

为了提高边缘储系统的资源利用效能,分析存储节点本身及其访问情况,构建副本、数据服务可靠性模型,实习副本存储节点选择算法、可靠分布算法,实现基于可靠性模型的副本管理策略能对云存储系统应用效果保障与冗余度降,不断提升Raptor Chain中边缘存储的可靠性

Raptor Chain分片技术

Raptor Chain系统计算和存储容量采用分片处理技术,以支持全球范围内的高频次交易。每个节点根据自身的计算和存储能力选择加入一到多个分片,并处理和存储这些分片上的交易。全网节点可并行的处理和存储不同的交易数据,使得全网交易处理能力不在受限于单一节点,单一节点也不需计算、存储全网数据。

Raptor Chain网络中将特点的分片只存储部分状态,其主要任务包括:

高频交易:随着交易量的不断增加,将引入更多的边缘计算能力;

最快恢复:当存储系统中一个存储节点遭受破坏、网络闪断等情况导致数据不一致时,将支持Metadata和数据节点的分片冗余方式,重新分配数据分片至稳定节点,达到数据存储的延续性。

最快读取:边缘存储通过文件预读算法,实现对大容量连续读取场景的支持。智能化的预读机制可以把即将使用的内容提前读入到Raptor Chain缓存中,从而增加缓存命中率,提升读取性能,特别适合流媒体播放等应用场景。

逻辑碎⽚是Raptor Chain中最⼩的单元,并且包含所有共享相同分区密钥的各个数据单元。分区密钥是唯⼀的标识符,允许访问分⽚⽤于检索信息。在Raptor Chain中,分区密钥允许去中⼼化应⽤有效地从正确识别的叶群中存储和检索数据。



作者:PoCU共识社区
链接:https://www.jianshu.com/p/8d063041407a
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

发布了276 篇原创文章 · 获赞 134 · 访问量 105万+

Guess you like

Origin blog.csdn.net/iamonlyme/article/details/104402150