python使用selenium爬取js加密的网页

我们经常使用Python从网站上爬取我们喜欢的图片，比如从煎蛋网爬取妹子图。现在虽然煎蛋网取消了“OOXX”栏目，但是至少把名字换成了随手拍，我今天想从该网站爬取妹子图，去发现没有办法从爬取的代码中找到 ‘.jpg’ 关键词，这就尴尬了，我用审查元素看了一下，是有的，但是又看了一下网页的源代码，没有找到，实际上我们使用Python 的下面两句代码爬取到了就是网页的源代码，而不一定是审查元素的全部内容。

response = urllib.request.urlopen(url)
html = response.read()

这是为什么呢，以前没有出现这样的问题啊，以前我们发现审查元素和源代码是一样的啊。

其实，这是因为现在很多网站为了拒绝爬虫，居然对网页进行了加密，操蛋。

但是呢，我们也是有对策的，现在的网站基本上都是采用 js 加密，Python 也是有模块可以破解它的。

具体代码调用如下：

from selenium import webdriver
chrome = webdriver.Chrome()
chrome.get(url)
html = chrome.page_source
return html #返回的就是字符串

但是在用之前，还是有几个问题需要注意的：

1.安装谷歌浏览器

是个人都会的操作吧，我就不说废话了。至于为什么要安装谷歌浏览器，自己看看代码里的 chrome ，应该就明白了吧。

2.安装 selenium

这是必须的操作步骤，very easy。

打开 CMD，输入下面的语句，Enter

pip install selenium

上面的语句当然是最简单了了，但是毕竟我们是中国人，速度慢，你懂得。国内也有镜像网站啊。

嘻嘻：（一般人我不告诉他）

pip install -i http://pypi.douban.com/simple --trusted-host pypi.douban.com selenium

3.chromedriver' executable needs to be in PATH

大部分的人在完成第一步之后，运行程序，都是会弹出“chromedriver' executable needs to be in PATH”的错误的。这是因为这个模块使用的是谷歌浏览器。然后需要一个 chromedriver。

首先，第一步，根据你自己的Chrome（谷歌浏览器）版本，下载相应的 chromedriver。

怎么查看谷歌浏览器的版本号呢？还是自行百度吧，太弱智的问题了。（实在不会的们可以看一下下面的第二步）

　chromedriver 下载地址：

　　　　　　　　http://chromedriver.storage.googleapis.com/index.html

我的谷歌浏览器版本是 70.0.3538.67，就下载win32的版本（Windows只有这一个版本，我是64位的电脑，完全没问题。）

第二步，将chromedriver.exe复制到Chrome浏览器安装目录

下载zip包之后，将其解压。发现里面仅有一个chromedriver.exe文件，该文件不需要通过向导模式安装在电脑上，而是仅需放到Chrome浏览器安装目录下面。可以通过360软件找到谷歌浏览器的安装位置：

如下图，我的Chrome浏览器安装在C:\Users\Xii\AppData\Local\Google\Chrome\Application目录，将解压后的chromedriver.exe驱动文件复制到该目录下即可。（这里也是可以看到版本号的）

第三步：将Chromedriver.exe复制到python根目录！！

如果是直接安装Python的朋友，就是在这个位置：如 C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32

我是使用Anaconda3 安装的Python，直接放在Anaconda3的根目录下就可以了（D:\ProgramFiles\Anaconda3）

第四步：将浏览器环境变量添加到path

打开开始菜单->我的电脑（或计算机）->系统属性->高级系统设置->环境变量，编辑用户变量里的path，

把谷歌浏览器的安装位置加进去：

添加：C:\Users\Xi\AppData\Local\Google\Chrome\Application

修改完之后点击确定按钮保存配置。

4、测试

重启Python，再次运行发现未报错