Bimodal Content Defined Chunking for Backup Streams

CDC算法给出了一个chunk的大小的最小值、最大值、平均值的界定。

Method

Using chunk existence information

breaking-apart algorithm

将所有内容全部划分为较大的chunk,然后识别新内容的变化区域,然后在这个变化区域的附近重新划分较小的chunk。重复进行数据重删。

building-up algorithm

在开始时将chunk的大小初始化为一个较为合适的值,然后组合较小的chunk。通过一个建块算法,查询更多的大块的位置和更细小的单个插入修改块。在输入中的任意位置均需要判断要建立小块还是建立大块,这种算法称之为bimodal chunking算法。

Baseline rolling window cut-point selection.

与预设值匹配给定的l个bit的值,如果匹配成功,则在l bit的最后一位处产生了切割点。几何分布下定义平均chunk大小为\(2^l\)。将其称为\(level-2^l\)chunker。

对于chunk最小值\(m\),通常chunk的平均大小是\(m+2^l\)。对于chunk最大值\(M\),一个\(level-2^l\) chunker通常会达到最大值:\(e^{-(M-m)/2^l}\)。在这里,M并非内容定义的。对于备份数据,给出\(level-2^{l-b}\) chunk,尽量避免非文本定义的切割点。

Breaking-apart algorithms

Screen Shot 2017-05-25 at 9.06.25 P

Chunk amalgamation algorithms

resynchronization 再同步

猜你喜欢

转载自www.cnblogs.com/tinoryj/p/Bimodal-Content-Defined-Chunking-for-Backup-Stream.html