开发环境配置(二)

请求库的安装

requests的安装(挺强大的库,一定要安装)

requests属于第三方库,必须手动安装(下载地址:http://www.python.org/pypi/requests),,这里推荐直接pip安装(‘win+r’----‘cmd’---'输入‘pip install requests’'),这里有人可能会出错,比如显示:

原因是:pip安装不属于python里面的功能,退出python,只需要在根目录下输入下载就可以了

验证安装

为了验证一下你是不是安装正确了,打开cmd,在python安装目录下输入python,打开python,然后输入 import  requests,如果没有报错,就是安装成功了

Selenium的安装

功能:驱动浏览器执行特定的动作,如点击、下拉等,对js渲染的网页来说,这种抓取方式非常有效。

同样推荐pip install selenium直接安装,简单粗暴

pip安装可能会出现一些问题,比如下载速度慢,出现timeout的报错,这是因为有些库国内网站是没有的,这里就需要使用镜像下载,下面推荐一些常用镜像:

阿里云 http://mirrors.aliyun.com/pypi/simple/
豆瓣http://pypi.douban.com/simple/
清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/
华中科技大学http://pypi.hustunique.com/
使用镜像下载时只需输入 pip install -i http://mirrors.aliyun.com/pypi/simple/ selenium,当然这样的话,每次安装都需要输入镜像网址很麻烦,所以可以选择添加一个文件,在以后使用pip时可以自动调用镜像

首先在user目录中创建一个pip文件夹,然后新建文件pip.ini,即 %HOMEPATH%\pip\pip.ini,在pip.ini文件中输入以下内容(以豆瓣镜像为例):

[global]
index-url = http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host = mirrors.aliyun.com(这里使用了阿里云的镜像,你们也可以选择清华大学的镜像)

之后再用cmd下载便会发现使用镜像下载了

同样,也可以选择使用官网下载安装包安装(http://www.seleniumhq.org)

最后还是验证是否安装成功  打开cmd,打开python,import selenium,如果没有出错,则安装成功。

有了selenium还是不够的,还需要安装特定的浏览器才可以使用selenium,所以使用360安全浏览器的可以卸载了。

ChromeDriver的安装

Chrome这个浏览器就是配合selenium使用的,首先下载一个chrome浏览器,然后安装ChromeDriver驱动的配置

下载地址:

https://chromedriver.storage.gppglrapis.com/index.html

https://sites.google.com/a/chromium.org/chromedriver

查看chrome版本号:

点击chrome菜单“帮助”——“关于Google chrome”即可擦好看版本号,如下图

我这里的版本时76,记住这个版本号,之后根据这个下载匹配的ChromeDriver

下载ChromeDriver

打开官网,找到跟自己相匹配的版本下载(下次接着说,停电了)

猜你喜欢

转载自www.cnblogs.com/annonmouse99/p/11362621.html