IPFS数据结构Merkle DAG

本文的提纲:

一、Hash(哈希)

二、Hash List(哈希列表)

三、Merkle Tree(默克尔树)

四、Merkle DAG(Merkle directed acyclic graph,默克尔有向无环图)

一、Hash(哈希)

Hash是一个函数,它把任意长度的数据作为输入,映射成固定长度的输出。例如,对于数据完整性校验,最简单的方法是对整个数据做Hash运算得到固定长度的Hash值,然后把得到的Hash值公布在网上,这样用户下载到数据之后,对数据再次进行Hash运算,比较运算结果和网上公布的Hash值进行比较,如果两个Hash值相等,说明下载的数据没有损坏。之所以可以这样做,是因为哈希函数的两个重要特征:一是输入数据的微小改变就会引起Hash运算结果的重大改变,二是根据Hash输出反推原始输入数据是非常困难的。

二、Hash List(哈希列表)

在点对点网络中作数据传输的时候,会同时从多个机器上下载数据,而且很多机器可以认为是不稳定或者不可信的。为了校验数据的完整性,更好的办法是把大的文件分割成小的数据块(例如,把分割成256K为单位的数据块)。这样的好处是,如果小块数据在传输过程中损坏了,那么只要重新下载这一快数据就行了,不用重新下载整个文件。

怎么确定小的数据块没有损坏呢?只需要为每个数据块做Hash。BT下载的时候,在下载到真正的完整数据之前,我们会先下载一个Hash列表。那么问题又来了,怎么确定这个Hash列表本身是正确的哪?答案是把每个小块数据的Hash值拼到一起,然后对这个长字符串再作一次Hash运算,这样就得到Hash列表的根Hash(Top Hash or Root Hash)。下载数据的时候,首先从可信的数据源得到正确的根Hash,就可以用它来校验Hash列表了,然后通过校验后的Hash列表校验数据块。下图的第一行和第二行就组成了一个Hash List。

三、Merkle Tree(默克尔树)

Merkle tree是由美国计算机学家merkle于1979年申请的专利,可以看做Hash List的泛化(Hash List可以看作一种特殊的Merkle Tree,即树高为2的多叉Merkle Tree)。

在最底层,和哈希列表一样,我们把数据分成小的数据块,有相应地哈希和它对应。但是往上走,并不是直接去运算根哈希,而是把相邻的两个哈希合并成一个字符串,然后运算这个字符串的哈希,这样每两个哈希就结婚生子,得到了一个”子哈希“。如果最底层的哈希总数是单数,那到最后必然出现一个单身哈希,这种情况就直接对它进行哈希运算,所以也能得到它的子哈希。于是往上推,依然是一样的方式,可以得到数目更少的新一级哈希,最终必然形成一棵倒挂的树,到了树根的这个位置,这一代就剩下一个根哈希了,我们把它叫做 Merkle Root。

在p2p网络下载资料之前,先从可信的源获得文件的Merkle Tree树根。一旦获得了树根,就可以从其他从不可信的源获取Merkle tree。通过可信的树根来检查接受到的Merkle Tree。如果Merkle Tree是损坏的或者虚假的,就从其他源获得另一个Merkle Tree,直到获得一个与可信树根匹配的Merkle Tree。

Merkle Tree和Hash List的主要区别是,可以直接下载并立即验证Merkle Tree的一个分支。因为可以将文件切分成小的数据块,这样如果有一块数据损坏,仅仅重新下载这个数据块就行了。如果文件非常大,那么Merkle tree和Hash list都很大,但是Merkle tree可以一次下载一个分支,然后立即验证这个分支,如果分支验证通过,就可以下载数据了。而Hash list只有等下载完整个hash list后才能验证。

四、Merkle DAG(Merkle directed acyclic graph,默克尔有向无环图)

Merkle DAG是ipfs开发团队在Merkle tree的基础上构建的,是ipfs中的一种数据结构。它跟Merkle tree很相似,但不完全一样,比如:第一,Merkle DAG不需要进行树的平衡操作,DAG可以存在单身节点;第二,非叶子节点允许包含数据,有时候小数据直接存在非叶子节点上。

DAG的格式如下:

type IPFSLink struct {
  Name string             // link 的名字
  Hash Multihash        // 数据的加密哈希
  Size int                    // 数据大小
}

type IPFSObject struct {
  links []IPFSLink             // link数组
  data []byte        // 数据内容
}

这样的话,允许开发者可以完全控制对象的数据字段,也就是说应用可以随意定义自己的data类型和结构,理论上来说,任何一种数据结构都是可以的,比如我们的以太坊等其他公链数据,此处非常具有想象空间。。。

我们可以用ipfs object命令操作DAG对象,具体可以看https://zhuanlan.zhihu.com/p/37742782

猜你喜欢

转载自blog.csdn.net/angciyu/article/details/83859712
DAG
今日推荐