动态网页数据抓取（一）

1.什么是AJAX?

AJAX = Asynchronous JavaScript and XML（异步的 JavaScript 和 XML）。

AJAX 不是新的编程语言，而是一种使用现有标准的新方法。

AJAX 最大的优点是在不重新加载整个页面的情况下，可以与服务器交换数据并更新部分网页内容。

AJAX 不需要任何浏览器插件，但需要用户允许JavaScript在浏览器上执行。

详细参考：http://www.runoob.com/ajax/ajax-tutorial.html

2.怎么获取ajax数据？

获取ajax数据的方式有：

（1）方式一：直接分析ajax接口的调用方式，然后通过代码请求这个接口。

（2）方式二：使用Selenium+chromedriver模拟浏览器行为获取数据。

方     式	优点	缺点
分     析        接     口	直接可以请求到数据，不需要做一些解析工作，代码量少，性能高。	分析接口比较复杂，特别是一些通过js混淆的接口，要有一定的js功底，容易被发现是爬虫。
Selenium	直接模拟浏览器的行为，浏览器能请求到的，使用Selenium也能请求到。爬虫更稳定。	代码量多，性能稳定

3. 谷歌浏览器Selenium和chromedriver的安装

Selenium：“pip install -U selenium”，selenium简介https://baike.baidu.com/item/Selenium/18266?fr=aladdin

扫描二维码关注公众号，回复： 1870809 查看本文章

pip install -U selenium

chromedriver：谷歌浏览器的driver下载地址：https://sites.google.com/a/chromium.org/chromedriver/downloads，下载完成后放到不需要权限的纯英文目录下面即可。

4. Selenium和chromedriver的简单使用

# encoding:utf-8

from selenium import webdriver
# driver_path是chromedriver的存放地址
driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get("https://www.baidu.com/")
print driver.page_source

5.Selenium定位元素的方法

# encoding:utf-8

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# driver_path是chromedriver的存放地址
driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get("https://www.baidu.com/")

# ============================定位元素的方法=============================
# 1.通过id的方式获取
# inputTag = driver.find_element_by_id('kw')
# inputTag = driver.find_element(By.ID, 'kw') # 该方法需要添加：“from selenium.webdriver.common.by import By”
# 2.通过name的方式获取
# inputTag = driver.find_element_by_name('wd')
# 3.通过class_name的方式获取
# inputTag = driver.find_element_by_class_name('s_ipt')
# 4.通过css选择器语法: 类名选择时，前面加点号
# inputTag = driver.find_element_by_css_selector(".quickdelete-wrap > input")
# 5.通过xpath语法
inputTag = driver.find_element_by_xpath("//input[@class='s_ipt']")

# 在标签里面填充字符串
inputTag.send_keys('python')
# 2秒以后关闭浏览器
time.sleep(2)
driver.quit()

6.Selenium操作表单元素

常见的表单元素：

（1）input type='text/password/email/number' 

（2）button input[type='submit']

（3）checkbox input=checkbox

（4）select 下拉列表

操作方法如下：

（1）对input输入框的操作：填充字符串 inputTag.send_keys('python')、清除内容 inputTag.clear()。示例代码如下：

# encoding:utf-8

from selenium import webdriver
import time

# driver_path是chromedriver的存放地址
driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get("https://www.baidu.com/")

# 通过id的方式获取: 以下两种方式相同
inputTag = driver.find_element_by_id('kw')

# 在标签里面填充字符串
inputTag.send_keys('python')
# 1秒以后清除输入框
time.sleep(1)
inputTag.clear()
# 1秒以后关闭浏览器
time.sleep(1)
driver.quit()

（2）对checkbox input=checkbox的操作：inputTag.click()方法

# encoding:utf-8

from selenium import webdriver
import time

# driver_path是chromedriver的存放地址
driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get("https://www.douban.com/")

# 通过id的方式获取: 以下两种方式相同
inputTag = driver.find_element_by_name('remember')

# 选中checkbox
inputTag.click()
# 1秒以后不选中checkbox
time.sleep(1)
inputTag.click()
# 1秒以后关闭浏览器
time.sleep(1)
driver.quit()

（3）select 下拉列表：先导入“from selenium.webdriver.support.ui import Select”

# encoding:utf-8

from selenium import webdriver
from selenium.webdriver.support.ui import Select
import time

# driver_path是chromedriver的存放地址
driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get("https://www.douban.com/")

selectBtn = Select(driver.find_element_by_name('remember'))
selectBtn.select_by_index(1)
selectBtn.select_by_value("")
selectBtn.select_by_visible_text("")
selectBtn.deselect_all()
# 1秒以后关闭浏览器
time.sleep(1)
driver.quit()

（4）button的点击事件：

# encoding:utf-8

from selenium import webdriver
import time

# driver_path是chromedriver的存放地址
driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get("https://www.baidu.com/")
# 模拟输入“python”
inputTag = driver.find_element_by_id('kw')
inputTag.send_keys("python")
# 模拟点击“百度”
inputBtn = driver.find_element_by_id("su")
inputBtn.click()

# 5秒以后关闭浏览器
time.sleep(5)
driver.quit()

7.Selenium行为链：ActionChains

class selenium.webdriver.common.action_chains.ActionChains(driver)

# encoding:utf-8

from selenium import webdriver
from selenium.webdriver.common import action_chains
import time

# driver_path是chromedriver的存放地址
driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get("https://www.baidu.com/")

inputTag = driver.find_element_by_id('kw')
inputBtn = driver.find_element_by_id("su")

# action = action_chains.ActionChains(driver)
# action.move_to_element(inputTag)
# action.send_keys('python')
# action.move_to_element(inputBtn)
# action.click()
# action.perform()

# 以上语句，和下面这段代码结果一样
action_chains.ActionChains(driver).move_to_element(inputTag).send_keys('python').move_to_element(inputBtn).click().perform()

# 1秒以后关闭浏览器
time.sleep(5)
driver.quit()

另外还有：单击不放、右击、双击，语句分别是click_and_hold(on_element=None)、context_click(on_element=None)、

double_click(on_element=None)，详细内容可参考：http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains。

8.Selenium操作Cookie

# --coding:utf-8-- #

from selenium import webdriver

# driver_path是chromedriver的存放地址
driver_path = r"D:\Python3\chromedriver_win32\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get("https://www.baidu.com/")

# driver.get_cookies()获取当前网页的cookie信息
for cookie in driver.get_cookies():
    print cookie

# driver.get_cookies('PSTM')获取当前网页name="PSTM"的cookie信息
print "="*30
print driver.get_cookie('PSTM')

# driver.delete_all_cookies()删除所有cookies信息
driver.delete_all_cookies()
print "="*30
for cookie in driver.get_cookies():
    print cookie

# driver.quit()