py 3.x版本后,处理爬虫相关的几个包合并成了一个urllib包
(按help(urllib)的文档,包内包含了 error,parse, request,response,robotparser
这5个部分,其中robotparser是一种由网站管理者编写的控制爬虫爬取时限制的规范)
访问百度并直接输出网页代码,如下:
#!usr/bin/python
import urllib.request as request
url = "http://www.baidu.com"
data = request.urlopen(url).read()
data = data.decode('UTF-8')
print(data)
输出效果:
在此基础上,试着添加查询字并返回查询结果,代码如下:
#!usr/bin/python
import urllib
import urllib.request
data={}
data['word']='VAN'
url_values=urllib.parse.urlencode(data)
url="http://www.baidu.com/s?"
full_url=url+url_values
data=urllib.request.urlopen(full_url).read()
data=data.decode('UTF-8')
print(data)
这样最基础的访问操作就完成了 = =
之后要做的还有很多....
参考链接:
py urllib
http://blog.csdn.net/hxsstar/article/details/17240975
抓取网页所有url
http://www.iplaypy.com/crawler/152.html
正则表达式
http://www.oschina.net/question/12_9507
BeautifulSoap
http://cuiqingcai.com/1319.html