简单的并行搜索计算

假设只有一台PC,linux32位操作系统,内存4G,4核CPU,需要在一8G大小的无序文本文件中搜索指定字符串(譬如:“I LOVE YOU”)的存储位置(距离文件头部的偏移量)和总数。
要求:最短的时间最高效的技术实现方式。

这类问题可以归结为并行搜索计算的范畴,要实现并发就必须要让每一个cpu都参与搜索计算,而且搜索和计算的过程不能有互斥锁,信号量等同步操作,否则并发就会在某种情况下变成了串行。
我的技术方案:
一.将该大尺寸文件按大小逻辑分成4大块,每一块2G
二.使用内存映射文件将每一块映射进进程的
地址空间
三.启动4个进程,将所有的块都映射到系统
的虚拟内存中
说明:因为32位的操作系统每个进程的地址
不可能超过3G(高端1G地址系统使用)
,所以只能多进程。
四.每个进程内部对映射进来的2G文件
内容再继续按照256MB分块儿,每一
块儿对应一个搜索线程。
五.这样4个进程,共计32(4*8)个线程并行
搜索计算,每一个线程只搜索特定的文件
块(256MB),绝对的并行。
六.最后一定要记得把每个相邻块(256MB)的
边界处搜索一遍,因为很难阻止相邻的块
边界把要搜索的字符串拦腰切断。
搜索方法是相邻的两个块的尾部n-1个字
符和另一个头部的n-1个字符,n=要搜索
的字符串字符个数。
就这样,一个单机版的纯粹的并行搜索计算的框架就出来了,由此扩展到多机,服务器集群,超大数据,千万亿级别的数据都可以
并行搜索和计算。

发布了19 篇原创文章 · 获赞 5 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/qman007/article/details/103956469