爬虫小实例
一、问题描述与分析
Q：查询某一只股票，在百度搜索页面的结果的个数以及搜索结果的变化。
分析：
搜索结果个数如下图：
搜索结果的变化：通过观察可以看到，每个一段时间搜索结果的个数是有所变化的，因为百度的搜索结果是听过关
键字来提供搜索结果的。对此我们从以下结果方面考虑：1、该只股票在近期内有较为明显的波动，对此，含有
该股票代码的相关信息增多；2、通过观察搜索结果，存在很多以下标识的网站：
，
此类标识的网站为广告网站，在考虑分析时，我们可以将其排除。
A：通过前面“Python爬虫”这一文章，我们也分别从以下：抓取页面、分析页面和存储数据三方面来解决本实例的一些
技术的实现问题。
二、一些问题
1、完成的可运行的程序源码，放在个人的Github的Hazy-star这个库中，以下是Github链接：Hazy-star_Python
2、程序中一些调用的库的使用，具体参考相关库的官方文档
3、程序中可能仍然存在较多的纰漏以及值得完善的地方，有待大家指正
4、实例中不涉及具体的数据的分析研究，只关心如何实现数据的获取。以及需要的一些有效数据的提取。
三、爬虫实例的实现
百度搜索规则语法：
http://www.baidu.com/s?wd=' 关键字 '+&pn=' + str(搜索页面数)
抓取页面
查询功能：baiduText(code, num) 实现输入code（股票代码），num（搜索页面的页数），返回相应的搜索页面
1 #coding=utf-8 2 import socket 3 import urllib.request 4 import urllib.error 5 6 def baiduText(code, num): 7 url = 'http://www.baidu.com/s?wd=' + code + '&pn=' + str(num) 8 try: 9 response = urllib.request.urlopen(url, timeout = 10)#下载页面，设定延迟10s 10 return response.read().decode('gbk', ‘ignore’).encode('utf-8') 11 except urllib.error.URLError as e: #抛出异常 12 if isinstance(e.reason, socket.timeout): 13 print('TIME OUT')
分析页面
通过对页面的抓取，我们可以将相应股票代码和搜索页面的HTML文档下载下来，接下来是对页面的分析，我们研究的是，为什么每个一段时间，搜索结果会发生变化，所以，我们考虑将每个搜索页面中搜索结果的标题以及url提取出来，存放在地点数据中，供后续的分析使用。
首先查找页面搜索结果
1 #coding=utf-8 2 from bs4 import BeautifulSoup 3 #全部的收缩结果 4 def parseHtml(text): 5 soup = BeautifulSoup( text, features="lxml" ) 6 tags = soup.find_all( 'span' ) 7 #寻找所有的span标签 8 for tag in tags: 9 cont = tag.string 10 if( cont is not None and cont.startswith( '百度为您找到相关结果约' )): 11 #此处可进行查询优化 12 cont = cont.lstrip( '百度为您找到相关结果约' ) 13 cont = cont.rstrip( '个' ) 14 cont = cont.replace( ',', '' ) 15 return eval(cont)
打印搜索结果标题以及URL，对此我们使用字典进行存储提取后的数据
1 #coding=utf-8 2 from bs4 import BeautifulSoup 3 def printurl(text): 4 #打印出所有搜索结果中网站的URl以及网站名字 5 soupurl = BeautifulSoup( text, features="lxml" ) 6 #通过分析，搜索结果的标题都是存放在h3中的 7 tagsurl = soupurl.find_all( 'h3' ) 8 #使用循环将网站以及对应的url传入到字典中 9 dicturl = {} 10 for tagurl in tagsurl: 11 url = [x['href'] for x in tagurl.select('a')][0] 12 #使用列表生成式子，以及select方法提取搜索结果的url 13 dicturl.update({tagurl.get_text():url}) 14 return dicturl
考虑到前面分析时，存在着广告搜索结果的影响，我们对含有广告标识的页面数量进行分析
1 #coding=utf-8 2 from bs4 import BeautifulSoup 3 def printurl(text): 4 #打印出所有搜索结果中网站的URl以及网站名字 5 soupurl = BeautifulSoup( text, features="lxml" ) 6 #通过分析，搜索结果的标题都是存放在h3中的 7 tagsurl = soupurl.find_all( 'h3' ) 8 #使用循环将网站以及对应的url传入到字典中 9 dicturl = {} 10 for tagurl in tagsurl: 11 url = [x['href'] for x in tagurl.select('a')][0] 12 #使用列表生成式子，以及select方法提取搜索结果的url 13 dicturl.update({tagurl.get_text():url}) 14 return dicturl
然后对定义函数，用于判断是否搜索到结果的最后一面
1 #coding=utf-8 2 from bs4 import BeautifulSoup 3 def EndSel(text): 4 #用于结束搜索的函数 5 flag = True 6 temp = [] 7 soupEnd = BeautifulSoup( text, features="lxml" ) 8 #通过分析，搜索结果的标题都是存放在h3中的 9 tagsEnd = soupEnd.find_all( 'a' ) 10 for tagEnd in tagsEnd: 11 temp.append(tagEnd.string) 12 if('下一页>' not in temp): 13 flag = False 14 return flag
下载页面
通过对下载的页面数据的分析，使用SaveDict(Dict) 实现将抓取的信息存在在的字典再存储到txt文件中，dict相当于我们使用的关系型的数据库。
1 def saveDict(dict): 2 # 将字典保存问txt文件 3 file = open('dict.txt', 'a') 4 for k,v in dict.items(): 5 file.write(k+'\n'+v+'\n') 6 file.close()
四、总结
对于小型的爬虫的创建，我们基本依照上面的基本进行构建即可。示例总未展出主函数，完整的代码见 Github ，主函数主要编写对这些模块的调用，以及逻辑的构建。对于大型的爬虫，在每一部分可能遇到的问题有：
1、在抓取页面时，有些网站可能有反爬机制，会对爬虫进行拦截，这时我们可能需要使用到代理，避免同一IP反复高频率访问网站被拦截
2、在分析页面时，有写网站会对HTML页面进行JS加密等，进行计算机爬虫自动爬取，此些页面需要仔细分析其内在逻辑，才能抓取到真正的数据
3、数据存储，小规模的爬取我们可以使用文件存储，当遇到大规模的数据爬取，我们就需要进行数据库的存储，方便我们或许分析处理数据
4、对于单一爬虫，即便使用个人PC也可以运行，但是对于大规模的爬虫，我们可能需要考虑分布式布置爬虫进行数据的爬取，以提高数据搜集的效率
5、对于爬虫中一些高级的运用，后续会再更新，包括一些常见的页面加密解析以及使用代理，模拟分布式、爬取App数据等。
2019-05-16