首先看一下单任务版本的爬虫架构，如下：
这是单任务版本爬虫的一个架构：
第一步是将seed送到engine里去。
第二步是将seed里的url给到fetcher，fetcher会从网络上获取文本内容。
第三步是将获取下来的文本内容给到parser，parser会根据一定的转换规则获取到request和需要打印或者存储的item给到engine里。
其中parser返回的request会继续给到engine里维护的一个队列中去，只要request有值就会一直去fethcer和parser。
另外这里的fetcher和parser因为fetcher的返回值是parse的传入参数值，所以这里其实可以合并成一个模块，比如一个叫worker的模块。
后面升级的架构就只有worker模块，fetcher和parser则只是worker模块里的实现模块了。
目前，此版本架构的缺点：
扫描二维码关注公众号，回复：
10916170 查看本文章
1.没有很好的利用golang的channel，engine里一直是处于单任务的状态。尤其是fetcher模块，这里获取网络里的内容会格外的需要时间一些。
此单任务版本可有源码？
有，地址如下：