问题:给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url?
目录:
方案1:每个文件50亿个URL,每个URL最长64个字节,可以估计每个文件安的大小为5000,000,000 ×64bit=320,000,000,000bit 300,000G,远远大于内存限制的4G,同时需要大硬盘(这里不考虑分布式计算)。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。
遍历文件a,对每个url求取 ,然后根据所取得的值将url分别存储到100,000个小文件(记为 )中。这样每个小文件的大约为3G。
遍历文件b,采取和a相同的方式将url分别存储到10000小文件中(记为 )。这样处理后,所有可能相同的url都在对应的小文件( )中,不对应的小文件不可能有相同的url。然后我们只要求出10000对小文件中相同的url即可。
求每对小文件中相同的url时,可以把其中一个小文件的url存储到hash_set中。然后遍历另一个小文件的每个url,看其是否在刚才构建的hash_set中,如果是,那么就是共同的url,存到文件里面就可以了。
方案2:如果允许有一定的错误率,可以使用Bloom filter,4G内存大概可以表示340亿bit。将其中一个文件中的url使用Bloom filter映射为这340亿bit,然后挨个读取另外一个文件的url,检查是否与Bloom filter,如果是,那么该url应该是共同的url(注意会有一定的错误率)。
读者反馈@crowgns:
- hash后要判断每个文件大小,如果hash分的不均衡有文件较大,还应继续hash分文件,换个hash算法第二次再分较大的文件,一直分到没有较大的文件为止。这样文件标号可以用A1-2表示(第一次hash编号为1,文件较大所以参加第二次hash,编号为2)
- 由于1存在,第一次hash如果有大文件,不能用直接set的方法。建议对每个文件都先用字符串自然顺序排序,然后具有相同hash编号的(如都是1-3,而不能a编号是1,b编号是1-1和1-2),可以直接从头到尾比较一遍。对于层级不一致的,如a1,b有1-1,1-2-1,1-2-2,层级浅的要和层级深的每个文件都比较一次,才能确认每个相同的uri。
以上是网上流传最广的思路,基于以上想法。我主要有两点想法,
其一,优秀的哈希算法是经过密码学家证明推敲的,不会随着取模操作而造成大范围冲突。本文将使用到《字符串哈希算法——BKDRHash》算法。
其二,对于以上读者反馈中需要二次哈希的地方(这种概率极小)。可以将整个过程视为一场递归——即,将一次哈希中大小超过阈值的文件暂不处理(假设一次哈希后,所得文件 ,那么这里先不处理它,而直接查询对应的 ,如果对应的b不存在,那么可以丢弃 。否则,在后续处理中,对于 使用另外一种哈希算法重新哈希,同时对 也必须使用同一种哈希算法重新哈希,整个过程转化为了递归)。
以下是对上述算法的实现,
Step 1 产生500亿 URL
实际操作中,自定义N值大小即可,量力(硬盘)而行。
//[a,b]
#define random(a,b) ((rand()%(b-a+1))+a)
#define N 500000
string url = "-0123456789abcdefghijklmnopqrstuvwxyz";
void generateUrl(string file)
{
ofstream out(file);
int n = 0;
if (out.is_open()){
for (int i = 0; i < N; ++i){
int size = random(1,64);//64bit
string s = "https://www.";
for (int j = 0, l = 1; j < size; ++j){
s += url[random(l,36)];//1+10+26-1=36
l = (s[s.size()-1] == '-' || j >= size-1) ? 1: 0;
}
s+=".com/";
out << s <<endl;
}
out.close();
}
}
Step 2 将500亿URL大文件哈希为10000个小文件
具体牵涉到不少其他函数,下文将给出。
bool split_big_file(string file_name, string suffix, string store_path, unsigned long count_to_split)
{
if (!file_name.size())
return false;
ifstream in(file_name);
if (!in.is_open())
return false;
string line;
while (getline(in, line)){
string split_file_name = store_path;
split_file_name += to_string(bkdr_hash(line.c_str()) % count_to_split);
split_file_name += suffix;
ofstream out(split_file_name, ios::app);
if (!out.is_open()){
in.close();
return false;
}
out << line << endl;
out.close();
}
in.close();
return true;
}
Step 2.1 字符串哈希函数BKDRHash
更多的哈希函数,可以参阅上文中的链接。
unsigned long bkdr_hash(const char* str)
{
unsigned int seed = 131;
unsigned int hash = 0;
while (*str){
hash = hash*seed+(*str++);
}
return (hash & 0x7FFFFFFF);
}
Step 2.2 获取文件大小
获取文件大小的主要作用是——其一,使程序更具有鲁棒性,可以适应于任意大小的文件拆分,保证拆分后的小文件不超过指定内存大小。其二,判断拆分后的文件是否满足要求。
unsigned long get_file_size(string file_name)
{
if (!file_name.size())
return 0;
struct stat file_info;
return stat(file_name.c_str(),&file_info) ? 0 : file_info.st_size;
}
Step 2.3 获取某一目录下指定后缀的所有文件
这里仿照JAVA写了个endsWith函数,用于过滤后缀。
bool str_ends_with(string s, string sub)
{
return s.rfind(sub)==(s.length()-sub.length());
}
vector<string> get_folder_file_name_list(string folder, string ends_with)
{
struct dirent *ptr = NULL;
DIR *dir = opendir(folder.c_str());
vector<string> files_name;
while ((ptr=readdir(dir))!=NULL){
if (ptr->d_name[0] == '.')
continue;
if (str_ends_with(ptr->d_name, ends_with))
files_name.push_back(ptr->d_name);
}
closedir(dir);
return files_name;
}
Step 3 使用set将小文件进行求交操作,最终得到相同URL
bool write_same_url_to_file(string folder, string same_url_file_name)
{
vector<string> files_name_a = get_folder_file_name_list(folder, ".a.txt");
vector<string> files_name_b = get_folder_file_name_list(folder, ".b.txt");
vector<string>::iterator iter;
ofstream out(same_url_file_name, ios::app);
if (!out.is_open())
return false;
for (int i = 0; i < files_name_a.size(); ++i){
string s = files_name_a[i];
s[s.size()-5] = 'b';
if (get_file_size(files_name_a[i]) <= PER_FILE_SIZE \
&& (iter = find(files_name_b.begin(), files_name_b.end(),s))\
!= files_name_b.end()\
&& get_file_size(*iter) <= PER_FILE_SIZE){
set<string> a_set = get_file_hash_set(folder+files_name_a[i]);
set<string> b_set = get_file_hash_set(folder+*iter);
set<string> same_url_set = get_same_url_set(a_set, b_set);
set<string>::iterator it = same_url_set.begin();
for (; it != same_url_set.end(); ++it){
out << *it << endl;
cout<<*it<<endl;
}
}
}
out.close();
return true;
}
可运行的程序获取地址:https://github.com/qingdujun/mdsa/tree/master/mdsa_url
©qingdujun
2018-9-3 于 北京 海淀
References:
[1] https://blog.csdn.net/v_JULY_v/article/details/6685962 ,2018-9-3