1、首先，下载网页使用Python的urllib2模块，或者Python HTTP模块request来实现
urllib2会出现问题，解决方法1.重试下载（设置下载次数）
2.设置用户代理
2、其次，三种常见方法
1>网站地图爬虫 （解析网站地图，将使用正则表达式，从<loc>标签中提取出URL)
2>ID遍历爬虫 （网站若使用连续大数作为ID，或者数值可以使用，若不是，就难发挥作用）
3>链接爬虫 （可以跟踪所有链接的方式，下载大量网页，也可以使用正则表达式确定下载哪些页面）
（碰到相对链接要转换为绝对链接，Python模块urlparse实现）
3、最后添加一些功能，完善爬虫。
1>解析robots.txt (使用Python自带的robotparser模块）
2>urllib2不支持的情况下使用 HTTP模块request来实现该功能
3>下载限速 （Throttle类记录了每个域名上次访问的时间，若中间时间短，将执行睡眠操作）
4>避免爬虫陷阱 （要修改seen变量，增加页面深度记录，到达最大深度时，停止链接爬取）
完。