爬虫之selenium自动化爬取

准备工具
1谷歌浏览器驱动器，PhantomJS
2 selenium模块的下载
pip install selenium
代码

# 1. 导入webdriver
import time

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

# 2. 调用浏览器
driver = webdriver.PhantomJS(executable_path=r'D:\phantomjs-2.1.1-windows\bin\phantomjs.exe')

# 3. 访问页面
driver.get(url='https://www.baidu.com')

4. 属性及方法
4.1 title   获取标题
print(driver.title)


4.2 page_source  查看页面内容
print(driver.page_source)


4.3 current_url  查看当前访问的URL
print(driver.current_url)


4.4 get_cookies()  获取所有cookie
print(driver.get_cookies())


4.5 查找元素
4.5.1 find_element_by_id('id值')   根据id查找元素
id_kw = driver.find_element_by_id('kw')
print(id_kw)   # <selenium.webdriver.remote.webelement.WebElement (session="f02f9dc0-175a-11eb-81af-e70b2a3c374f", element=":wdc:1603696491796")>



4.5.2 find_elements_by_class_name('class的值')  根据class查找元素,返回所有符合class值的元素列表
find_element_by_class_name('class的值')  根据class查找元素,返回第一个符合class值的元素

class_s_ipt = driver.find_elements_by_class_name('s_ipt')  # [<selenium.webdriver.remote.webelement.WebElement (session="39e31be0-175b-11eb-98f9-630d2f7103e0", element=":wdc:1603696615403")>]
class_s_ipt = driver.find_element_by_class_name('s_ipt')  # <selenium.webdriver.remote.webelement.WebElement (session="5e5343b0-175b-11eb-b75c-4bbbce594c75", element=":wdc:1603696676575")>
print(class_s_ipt)


4.5.3 find_element_by_name('name属性值')  根据name属性查找元素
find_elements_by_name('name属性值')  根据name属性查找元素
区别和className一样
name_wd = driver.find_element_by_name('wd')
print(name_wd)  # <selenium.webdriver.remote.webelement.WebElement (session="dec223e0-175b-11eb-aa94-074d9ecfbe36", element=":wdc:1603696892022")>


4.5.4 find_element_by_xpath('xpath的路径')根据xpath查找元素
kw_xpath = driver.find_element_by_xpath('//input[@id="kw"]')
print(kw_xpath)



4.6 text   获取标签之间的内容
content = driver.find_element_by_xpath('//div[@id="s-top-left"]/text()')  # 不支持
content = driver.find_element_by_xpath('//div[@id="s-top-left"]').text  # 支持
print(content)


4.7  get_attribute('属性名')   获取对应属性值
先找到元素，再获取属性值
result = driver.find_element_by_xpath('//input[@id="kw"]').get_attribute('class')
print(result)  # s_ipt


4.8 save_screenshot()  截图
driver.save_screenshot('baidu.png')


4.9  send_keys('输入的内容')
先找到输入框，再输入内容
driver.find_element_by_xpath('//input[@id="kw"]').send_keys('金所炫')
driver.save_screenshot('金所炫.png')


4.10  click()  点击
driver.find_element_by_xpath('//input[@id="kw"]').send_keys('金所炫')
driver.find_element_by_id('su').click()
点击之后，直接截图
原因：截图太快，页面响应需要时间，需要休眠一会儿再截图
time.sleep(1)
driver.save_screenshot('点击.png')


# 4.11 支持快捷键
# 例如：全选和剪切
driver.find_element_by_xpath('//input[@id="kw"]').send_keys('金所炫')
driver.save_screenshot('输入.png')
driver.find_element_by_xpath('//input[@id="kw"]').send_keys(Keys.CONTROL,'a')
driver.save_screenshot('全选.png')
driver.find_element_by_xpath('//input[@id="kw"]').send_keys(Keys.CONTROL,'x')
driver.save_screenshot('剪切.png')