Bloom Filter介绍

布隆过滤器（Bloom Filter）用来检测在大量数据中是否包含某个指定元素。

一、基本原理

1、存储过程

1. 将长度为m的位数组a的所有位全部置0；

2. 用k个相互独立的哈希函数h()对要查找的元素进行计算；

3. 如果h_i(a) = x，其中1≤i≤k，1≤x≤m，则将位数组a中第x位置1。

2、查找过程

1. 对于要查找的某个元素a，用相同的k个哈希函数对其进行计算，则位数组b中有t个位为1，其他为0；

2. 将位数组a与数组b进行比较，如果b中为1的位在a中也为1，那么集合中包含该元素，否则不包含。

二、误判

例子：
  元素A使数组a中第1、3、5位置1，元素B使数组a中第5、7、9位置1，现在要查找元素C。
  经过三个哈希函数计算后，元素C使数组b中第1、5、9位置1。
  比较数组a和数组b后发现，第1、5、9位都是1，因此得出错误结论：元素C在集合中。

Bloom Filter会发生误判，但不会发生漏判。即如果某元素不在集合中，可能判断为在；但如果某元素在集合中，则一定会做出正确判断。

三、参数确定

  数组大小m、集合大小n、哈希函数个数k与误判率p的关系：

p=(1−e−kn/m)k

$$p=(1-e^{-kn/m})^k$$
  最优哈希函数个数k为：
$$k=\frac mn ln2$$
  影响内存大小的m：
$$m=-\frac {nlnp}{(ln2)^2}$$

四、改进

  布隆过滤器只能用于增加元素并查询的情况，而无法删除其中的元素。

扫描二维码关注公众号，回复： 13034046 查看本文章

  改进的方法称为计数布隆过滤器（Counting Bloom Filter），即位数组中，每一“位”用多个比特位来表示。当增加元素时，将相应的“位”加1，删除元素时，将相应的“位”减1。