目录
简介
selnium是一个自动化测试工具，支持各种浏览器，简单的说就是selenium可以操作浏览器，加载一些需要动态加载的界面
安装selenium库后还需要安装对应浏览器的驱动
selenium webdriver的基本操作
定位到元素后，还需要进行以下相应的操作，下面介绍一些常用的方法
常用方法
| 方法 | 描述 | 示例 |
|---|---|---|
| get(url) | 访问url | driver.get('http://www.baidu.com') |
| back() | 后退上一步 | driver.back()后退上一个网页,类似于：← |
| forward() | 前进下一步 | driver.format()与back()相反，类似于：→ |
| quit() | 退出驱动关闭所有窗口 | driver.quit()关闭所有窗口 |
| close() | 关闭当前窗口 | driver.close()关闭当前打开的窗口 |
| maximize_window() | 浏览器最大化 | |
| refresh() | 刷新浏览器 | driver.refresh()刷新浏览器 |
元素操作
| 方法 | 描述 | 示例 |
|---|---|---|
| send_keys() | 向文本框类型中输入数据 | driver.find_element('input').send_keys('123') 向input输入框中输入123 |
| clear() | 清空输入的数据 | driver.find_element(‘tag’,'input').clear() 清空input框中的内容 |
| click() | 单击事件 | driver.find_element('tag','input').click() |
| enter() | 触发键盘的enter操作 | driver.find_element('tag','input').enter() |
| text() | 获取元素的文本内容 | driver.find_element('id','name').text(),返回name的文本 |
| page_source | 获取页面的HTML内容 | driver.page_source() 获取网页的html |
cookie操作
| 方法 | 简介 | 示例 |
|---|---|---|
| get_cookies() | 获取当前页面的所有cookies | dirver.get_cookies() 获得页面所有的cookie |
| add_cookie() | 添加cookie | driver.add_cookie('time','1612354154.7383971'),添加一个time为1612354154.7383971的cookie |
| delete_cookie() | 删除一条cookie | driver.delete_cookie('time') 删除名称为time的cookie |
| delete_all_cookies() | 删除所有cookie | driver.delete_cookies() 删除所有cookie |
案例：获取拉勾网的招聘信息
from selenium import webdriver
import time
from bs4 import BeautifulSoup
import re
class Job: # 建立一个工作类
def __init__(self):
self.name=None
self.company=None
self.condition=None
self.salary=None
def get(self):
return (self.name,self.company,self.condition,self.salary)
class Lagou:
def __init__(self):
self.driver=webdriver.Chrome()
self.driver.maximize_window()
self.url='http://www.lagou.com/'
def search(self,keyword):
self.driver.get(self.url)
time.sleep(3)
self.driver.find_element('id','cboxClose').click()
time.sleep(3)
self.driver.find_element('id','search_input').send_keys(keyword)
self.driver.find_element('id','search_button').click()
time.sleep(2)
page_source=self.driver.page_source
self.driver.quit()
return page_source
def get_jobs(self,page_source):
soup=BeautifulSoup(page_source,'html.parser')
myjob=Job() # 实例化每一个工作并进行信息存储
hot_item=soup.find_all('li',class_=re.compile('con_list_item'))
for item in hot_item:
myjob.name=item.find('h3').get_text().strip() # 去除字符两端的空白字符
myjob.company=item.select_one('.company_name>a').get_text().strip()
myjob.salary=item.select_one('.money').get_text().strip()
myjob.condition=item.find('div',class_='industry').get_text().strip()
print(myjob.get())
if __name__ == '__main__':
hot=Lagou()
time.sleep(5)
page_source=hot.search('python')
hot.get_jobs(page_source)
运行结果
