位图法解决查重问题

位图法介绍

C++STL中有相应的bitset容器，其实就是位示图法

用每一位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。

使用位图法处理问题，需要事先得知数据中最大值是多少。如果最大值Max=100000，则unsigned char数组大小size=Max/8+1

当记录一个数字时需要计算其字节位置和位位置。

// 计算整数应该放置的字节位，即数组下标
int index = num / 8; 
// 计算对应字节的位位置
int offset = num % 8;

当需要判读是否重复时，进行如下操作

// 计算整数应该放置的字节位，即数组下标
int index = num / 8; 
// 计算对应字节的位位置
int offset = num % 8;

int v = p[index] & (1 << offset);

if (0 != v){
	cout << vec[i] << "是第一个重复的数据" << endl;
	break; // 如果要找所有重复的数字，这里就不用break了
}else{
    // 表示该数据不存在，把相应位置置1，表示记录该数据
    p[index] = p[index] | (1 << offset);
}

使用位示图解决海量数据查重问题，其缺点在于：其位示图数组内存占用的大小取决于数据内最大数是多大，例如有10个整数，最大值是10亿，那么就得按10亿这个数字计算开辟位图数组的大小。