selenium是爬取网页的一大利器,现在就来记录一下selenium的安装过程与配置
1.安装selenium
直接在命令窗口中输入
pip install selenium
由于我这里已经安装过了,就不贴图了
安装成功,再在python的交互环境中输入
import selenium
如果没有报错就证明没有问题了
2.安装浏览器驱动
各个浏览器驱动下载地址:
将下载的文件解压,放到python安装目录下的Scripts中,就不用再配置环境变量
例如: C:\python35\Scripts
其中使用Chrome需要注意的是一定选择对应的版本号,否则可能启动不了浏览器
可以在Chrome地址栏中输入下面网址,查看Chrome的版本
chrome://version/
这里的Chrome是v60,所以下载webdriver对应的版本是v2.33的
如果不清楚webdriver版本的可以参考我的另一篇文章。 传送门
ps:最好禁止浏览器自动跟新,否则一旦升级,你的webdriver跟浏览器版本不匹配了
3.运行一波
在IDE中输入下面的代码
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('http://www.baidu.com')
这时候Chrome就会打开
4.遇到的问题
在执行上面代码的时候,Chrome可以正常开启,但是一直调不到指定的URL页面(即百度),只显示了data页面
网上找了很多方法都没有解决,很多方法说是webdriver版本不对应的问题,但是后来怎么也解决不了。
最后关闭防火墙才解决这个问题,如果你也出现这样的问题可以试一下,不保证一定可以哦
5.总结
在安装的过程中防火墙的问题一直困扰着我,网络上的很多方法不一定适合自己,所以说,一直在做无用功,被不是问题的问题困扰,最后自己慢慢摸索才解决。