1.selenium+phantomjs
(1)selenium概念: 是一个浏览器的自动化测试工具，通过selenium提供的一些方法可以去操作浏览器，让浏览器做 一些自动化的工作
(2)selenium操作谷歌浏览器: 主要核心：而是selenium操作谷歌浏览器驱动，通过驱动再来操作浏览器
谷歌浏览器驱动下载地址
http://chromedriver.storage.googleapis.com/index.html
http://npm.taobao.org/mirrors/chromedriver/
谷歌驱动和谷歌浏览器版本关系映射表
http://blog.csdn.net/huilan_same/article/details/51896672
安装selenium：pip install selenium
【注】通过selenium操作浏览器的时候，一定要记得停顿，因为是真正的上网过程，要执行其中很多的请求，所以使用selenium非常的慢，效率低.(3)selenium操作有界面的目的
phantomjs概念: 是一款浏览器，它是一款无界面浏览器。就是专门用来写爬虫代码用的。肯定有浏览器的功能，可以将html、css、图片、js给你显示成图文并茂的形式，phantomjs可以执行网页中的js代码。
网页的呈现形式，很多情况，html中的内容不是直接就有的，而是需要执行js代码，动态的给生成的
（a）捕获接口，分析接口，然后向接口发送请求，得到数据，得到的数据一般都是json格式，然后再解析json数据即可.
（b）捕获不到接口，或者捕获到接口，看不懂接口参数，使用大招，selenium+phantomjs,因为它的效率低，慢.
(4)selenium如何操作phantomjs？
见代码31-33
模拟滚动条滚动到底部
见代码31-33
得到执行js之后的代码
browser.page_source
2.headlesschrome
谷歌进军无界面模式，phantomjs退出了，不在维护了。火狐也有，ie也有.
如果windows，要求谷歌版本在60+以上
如果linux，要求谷歌版本在59+以上
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument(‘–headless’)
chrome_options.add_argument(‘–disable-gpu’)
chome_options.add_argument((‘–proxy-server=http://’ + ip))
3.requests的用法
(1)requests概念: 是python的第三方库，这个库和urllib库是一个功能，模拟发送http请求，由于urllib库非常的不方便，所以写了这么一个库, 由林纳斯脱袜子(林纳斯·托瓦兹 -linux内核-git)
(2)基本用法: 参考博文:http://docs.python-requests.org/zh_CN/latest/index.html
安装包:pip install requests
get请求
带参数get请求:
data是一个原生字典
r = requests.get(url=url, headers=headers, params=data)
带参数post请求:
r = requests.post(url=url, headers=headers, data=data)
响应对象
r.text 字符串内容
r.content 字节内容
r.status_code 状态码
r.url 请求url
r.headers 响应头
r.encoding='utf8' 指定字符集
r.encoding 查看字符集
r.json() == json.loads(r.text) 将json数据转化为python对象
代理功能: 见代码37
会话机制: 和urllib里面一样。
创建一个会话: s = requests.Session(),发送请求都使用s来进行发送
s.post() s.get()
异常处理:
requests.exceptions
Timeout : 请求超时
ConnectionError ：主机不存在或者拒绝链接
HTTPError ：找不到文件资源
取消ssl证书验证:
verify=False
from requests.packages import urllib3
urllib3.disable_warnings()4.requests使用案例
爬取www.chengdu.8684.cn网的公交车信息: 见代码41