Selenium环境配置/Tensorflow安装

官网下载Selenium最新版本

目前更新至3.7.1版，本地存放路径为D:\R\library\Rwebdriver\，名称为selenium-server-standalone-[version.number].jar，即selenium-server-standalone-3.7.1

运行Selenium需要搭建Java环境

JDK（Java SE Development Kit）指java开发包；其中包括JRE（Java Runtime Environment）即java运行环境。

下载：Oracle官网下载JDK，参考stack overflow的回答选择8u151（CPU版本）
安装：在D盘新建2个文件夹jdk1.8和jre1.8分别用来作为jdk和jre的安装目录
1. 打开下载好的jdk文件
2. 点击下一步
3. 将jdk工作目录更改为D盘的jdk1.8，点击确定并继续
4. 将jre工作目录更改为D盘的jre1.8，点击下一步并继续
5. 安装完成
配置java系统环境变量
1. 右击【我的电脑】——【属性】——【高级系统设置】——【环境变量】
2. 新建系统变量，变量名JAVA_HOME，变量值D:\jdk1.8
3. 新建系统变量，变量名classpath，变量值.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar;
4. Path变量修改，主要是告诉操作系统某些路径下有一些命令。该Path变量已经存在，需要在该值的最前面加%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;，编辑系统变量后点击确定
验证java环境
1. 【win+R】——【cmd】
2. 输入java，运行命令
3. 输入javac，运行命令
4. 输入java -version，运行命令

至此，JDK配置完成。

下载浏览器驱动

在Selenium下载页面的Third Party Drivers, Bindings, and Plugins部分，下载相应浏览器的驱动：

或直接在官网下载谷歌浏览器的驱动ChromeDriver：
存放路径建议与浏览器的安装目录相同C:\Program Files (x86)\Google\Chrome\Application\，并将该路径设置为系统路径

查看浏览器当前版本：在Chrome中搜索 chrome://version/，本机浏览器当前版本为v59.0.3071.115（正式版本）（64 位）。
谷歌浏览器升级：【打开浏览器】-【右上角更多】-【帮助】-【关于Google Chrome】，将本机Chrome版本升级至v63.0.3239.84（正式版本）（64 位），搭配下载v2.33的浏览器驱动。
查看当前安装的插件/扩展：在Chrome中搜索 chrome://extensions/

启动Selenium

【win+R】——【cmd】
输入java -jar D:\R\library\Rwebdriver\selenium-server-standalone-3.7.1.jar，运行命令

至此，Selenium成功启动，抓取数据时不要关闭此命令框，直接在R中进行后续操作。

参考资料：
启动selenium服务器
 Java运行环境搭建之Jdk配置
 Selenium自动化测试（java语言）
R语言数据收集实例（一）——动态网页爬取

下载phantomjs无头浏览器

官网下载
将无头浏览器的目录添加到系统变量

Tensorflow安装基本环境

本机从Anaconda官网下载Anaconda3-5.2.0-Windows-x86_64版本，其中默认对应的python版本为Python 3.6.5。参考Win10 TensorFlow（gpu）安装详解：Anaconda可以实现在conda环境下，管理不同版本的python，虽然默认使用python 3.6，但可以用conda创建一个环境，在这个环境下可以安装运行你想要的版本（比如python 2.7），等用完了退出这个环境即可，系统默认的Python版本还是3.6。创建python 2.7运行环境的方法如下：

创建一个名为python27的环境，指定Python版本是2.7
打开cmd，执行conda create --name python27 python=2.7
安装完成后，使用activate激活python27
输入activate python27可以看到命令行前面有个(python27)，这个就是当前运行环境，继续输入python可以看到python版本显示为2.7.15
想返回默认的python3.5环境，执行deactivate即可，以后再切换至2.7环境，只需输入activate python27

Tensorflow安装

一、查看本机配置

安装之前首先查看本机配置，明确是否有GPU。

右键我的电脑【属性】——【设备管理器】——【显示适配器】
或【win+R】——【control /name Microsoft.DeviceManager】
查得本机GPU型号为GeForce GTX 750 Ti
在Tensorflow官网查看安装教程，以本机win10为例。

当电脑没有装显卡时，必须选择安装CPU版本的tensorflow；若有显卡，则可下载GPU版本的tensorflow，同时需要安装NVIDIA的系列软件CUDA® 工具包 9.0和cuDNN v7.0，以保证GPU版本的tensorflow正常运行。

此外，获得本机显卡型号后，可在官网查到对应型号的显卡性能。

二、CPU版本/GPU版本Tensorflow的安装

方法一：通过终端命令行安装

pip3 install --upgrade tensorflow       # CPU版本
pip3 install --upgrade tensorflow-gpu   # GPU版本

方法二：在Anaconda 环境中安装，具体参考官网说明

这里主要采用第一种方法，用pip3 install --upgrade tensorflow安装了CPU版本后，在python命令行中import tensorflow，执行下面代码，查看tensorflow当前的版本和安装路径，得到结果如下图所示：

import tensorflow as tf
tf.__version__  # 查看版本
tf.__path__     # 查看安装路径

再继续用pip3 install --upgrade tensorflow-gpu安装GPU版本，在Anaconda Prompt中执行conda list，查看安装的tensorflow版本，CPU版本和GPU版本均是1.9.0：

三、CUDA下载/安装

官网提供windows、Mac、Linux版本的下载教程，这里主要查看windows版本：

进入下载页面，选择下载win10 exe[local]：

本地安装：

安装完毕后，在命令终端行输入nvcc -V可查看CUDA工具包的版本信息：

为了验证CUDA是否配置成功，官方推荐运行（默认的）安装路径C:\ProgramData\NVIDIA Corporation\CUDA Samples\v9.2\bin\win64\Release中的deviceQuery程序，但我没找到这个程序。

四、cuDNN下载，无需安装

官网下载v7.1的cuDNN需要注册及填写问卷，填写后最终下载页面：

下载cudnn-9.2-windows10-x64-v7.1，解压得到文件夹cuda，其中有三个子文件夹bin、include、lib：

在上一步骤的安装路径C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.2中，同样存在三个与上面命名相同的文件夹：

把cuda下的三个文件夹内的文件，分别拷到CUDA\v9.2的对应文件夹bin、include、lib中。注意是把这些文件从cuda添加过去，原CUDA\v9.2内的文件不做改动。

五、添加环境变量

将CUDA的相关路径添加至环境变量中：

六、验证

上述过程安装下来，在python命令行中import tensorflow时，会出现如下错误：

OSError: [WinError 126] 找不到指定的模块。
ImportError: Could not find ‘cudart64_90.dll’. TensorFlow requires that this DLL be installed in a directory that is named in your %PATH% environment variable. Download and install CUDA 9.0 from this URL: https://developer.nvidia.com/cuda-toolkit

报错原因可能是，目前Tensorflow还不能支持CUDA V9.2，所以只能通过源码编译或者别人编译好的安装包安装。先在命令行中执行pip uninstall tensorflow-gpu卸载当前版本，然后：

在Github下载cpu版本的文件tensorflow‑1.9.0‑cp36‑cp36m‑win_amd64.whl，保存至路径D:\Anaconda\Lib\site-packages，在命令行中输入pip install D:\Anaconda\Lib\site-packages\tensorflow‑1.9.0‑cp36‑cp36m‑win_amd64.whl，安装CPU版本的tensorflow
在Github下载gpu版本的文件tensorflow_gpu-1.9.0-cp36-cp36m-win_amd64.whl，保存至路径D:\Anaconda\Lib\site-packages，在命令行中输入pip install D:\Anaconda\Lib\site-packages\tensorflow_gpu-1.9.0-cp36-cp36m-win_amd64.whl。利用如下代码验证是否成功运行GPU版本的tensorflow。

import numpy
import tensorflow as tf
a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')
c = tf.matmul(a, b)
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
print(sess.run(c))

而在使用CPU版本的tensorflow时，执行上述代码得到如下结果：

总结

各个安装版本为：

Anaconda3-5.2.0-Windows-x86_64
Python 3.6.5
CPU版本：tensorflow‑1.9.0‑cp36‑cp36m‑win_amd64.whl
GPU版本：tensorflow_gpu-1.9.0-cp36-cp36m-win_amd64.whl
cuda_9.2.148_win10（v9.2.148）
cudnn-9.2-windows10-x64-v7.1（v7.1.4）

参考资料：
确定自己的TensorFlow是CPU还是GPU的版本
 Win10 TensorFlow（gpu）安装详解