双数组Trie树 Double-arrayTrie

版权声明:可以胡乱转载。 https://blog.csdn.net/hunyxv/article/details/87908163

Tire 树结构存在较大的数据稀疏,造成了空间浪费。Double-array结合了array查询效率高、list节省空间的优点,可以有效降低空间浪费,具体是通过两个数组base、check来实现。Trie树可以等同于一个自动机,状态为树节点的编号,边为字符。

  • base数组中每个元素对应trie中的一个节点即状态;
  • check数组表示的事某个状态的前驱状态,用来验证转移的有效性;
  • 两个数组满足如下转移方程:
    base[s] + c = t [1]
    check[t] = s [2]
    s 是当前状态下标 c 是输入字符的数值(或编码)。

double array trie 在构造时 base 数组中的值如何确定:

  1. 首先预处理需要构造的文件,将首字相同的词条排列在一起,首字不同的词条按照首字词条数两由大到小排列,首字相同的按照次字 UTF 编码有小到大排序,依次类推,形成有序的词条集合。 比如:“lie”、“人民”、“浙江”、“民生”,“like” ,排序后为:lie、like、人民、民生、浙江
'浙'.encode('utf-8') > '民'.encode('utf-8') > '人'.encode('utf-8')
True

在构造英文或中英文混合Double-array Trie 时英文可以使用 ACSII编码,如果以中文 UTF 编码作为输入数值的话,会造成树严重的稀疏;中文 ‘人’.encode('utf-8') 输出b'\xe4\xba\xba' 数值比较大,所以要对其进行重新编码:比如说所有字符从数字 1 开始递增编码;
就拿上面排序好的词条:lie、like、人民、民生、浙江 ----->> l -- 1, 人 -- 2, 民 -- 2, 浙 -- 4, i -- 5, 生 -- 6, 江 -- 7, e -- 8, k -- 9

构造 Double-array Trie字典时,初始化数组为0;根节点对应于0位置并且base和check都为0:

  • 首先确定所有词条深度为1(首字,‘中国’中深度1,国深度为2)的字符对应位置的base值;
  • 确定base值时要确保其后深度为2的字符都能存入数组;
  • 然后根据深度2的字符的编码来确定其对应的位置以及check值;
  • 以此类推确定2层base值,直至字符结束。

对上面已将编码的词条来确定其base和check值:

  • 确定四个首字符的对应的位置:
    根据上面状态转移公式 [1] 可以得出:base[0] + code[l] = 0 + 1base[0] + code[人] = 0 + 2 = 2base[0] + code[民] = 0 + 3 = 3base[0] + code[浙] = 0 + 4 = 4, 根据状态转移公式 [2] 可以得出:check[1] = check[2] = check[3] = check[4] = 0
s&t 0 1 2 3 4
base 0
check 0 0 0 0 0
l
  • 有了开头我们继续确定接下来的 base 和 check:
    • base[l] + code[i] = x + 5check[x + 5] = x,,取x=1,那么base[l] = 1check[1 + 5] = 1;
s&t 0 1 2 3 4 5 6
base 0 1
check 0 0 0 0 0 1
l li
    • base[人] + code[民] = x + 3check[x + 3] = x,check 位置0、1、2、3、4、6已经被用,那么x可以取 x = 2,那么 base[人] = 2 (base[2] = 2)check[2 + 3] = 2,此时人民已经组成了一个词条并且不是其他词条的前缀(在当前上下文中), 所以 base[5] = -5;
s&t 0 1 2 3 4 5 6
base 0 1 2 -5
check 0 0 0 0 0 2 1
l 人民 li
    • base[民] + code[生] = x + 6check[x + 6] = x, 可以取x = 1, 那么base[民] = 1check[1 + 6] = 3,注意 民生已经是一个词条了,并且不是其他词条的前缀,所以base[7] = -7
s&t 0 1 2 3 4 5 6 7
base 0 1 2 1 -5 -7
check 0 0 0 0 0 2 1 3
l 人民 li 民生
    • base[浙] + code[江] = x + 7check[x + 7] = x, 可以取x = 1, 那么base[浙] = 1check[1 + 7] = 4,注意 浙江已经是一个词条了,并且不是其他词条的前缀,所以base[8] = -8
s&t 0 1 2 3 4 5 6 7 8
base 0 1 2 1 1 -5 -7 -8
check 0 0 0 0 0 2 1 3 4
l 人民 li 民生 浙江
    • base[i] + code[e] = x + 8check[x + 8] = x, 可以取x = 1, 那么base[i] = 1check[1 + 9] = 6,注意 lie已经是一个词条了,并且不是其他词条的前缀,所以base[9] = -9
s&t 0 1 2 3 4 5 6 7 8 9
base 0 1 2 1 1 -5 1 -7 -8 -9
check 0 0 0 0 0 2 1 3 4 6
l 人民 li 民生 浙江 lie
    • base[i] + code[k] = 1 + 9check[1 + 9] = 6,这里base[i] 已知了;
s&t 0 1 2 3 4 5 6 7 8 9 10
base 0 1 2 1 1 -5 1 -7 -8 -9
check 0 0 0 0 0 2 1 3 4 6 6
l 人民 li 民生 浙江 lie lik
    • base[k] + code[e] = x + 8check[x + 8] = x,取x = 3,那么check[3 + 8] = 10, 注意 like已经是一个词条了,并且不是其他词条的前缀,所以base[11] = -11

最终:

s&t 0 1 2 3 4 5 6 7 8 9 10 11
base 0 1 2 1 1 -5 1 -7 -8 -9 3 -11
check 0 0 0 0 0 2 1 3 4 6 6 10
l 人民 li 民生 浙江 lie lik like

查找“人民”这个词为例:

状态转移公式:
base[s] + c = t [1]
check[t] = s [2]

t1 = base[0] + code[人] = 0 + 2 = 2
check[2] = 0并且base[2] !< 0,继续往下找;
base[2] + code[民] = 2 + 3 = 5, check[5] = 2并且base[5] < 0,所以人民这个词在Double-array Trie树中;
并且base[5] = -5 说明树中没有以人民为前缀的词,如果来查找人民大会堂就会查找失败;

参考文献

[1] 戴耿毅、佘静涛,基于双数组Trie树算法的字典改进和实现 2012

猜你喜欢

转载自blog.csdn.net/hunyxv/article/details/87908163