【python】打卡学习第九天-selenium自动化操作浏览器(下)


活动地址:CSDN21天学习挑战赛

学习的最大理由是想摆脱平庸,早一天就多一份人生的精彩;迟一天就多一天平庸的困扰。各位小伙伴,如果您:
想系统/深入学习某技术知识点…
一个人摸索学习很难坚持,想组团高效学习…
想写博客但无从下手,急需写作干货注入能量…
热爱写作,愿意让自己成为更好的人…

欢迎参与CSDN学习挑战赛,成为更好的自己,请参考活动中各位优质专栏博主的免费高质量专栏资源(这部分优质资源是活动限时免费开放喔~),按照自身的学习领域和学习进度学习并记录自己的学习过程。您可以从以下3个方面任选其一着手(不强制),或者按照自己的理解发布专栏学习作品,参考如下:

**

学习日记

**
1,学习知识点

selenium的API

2,学习遇到的问题

api没接触过

3,学习的收获

selenium的api使用

4,实操

无界面模式:

from selenium import webdriver

# 1. 实例化配置对象
chrome_options = webdriver.ChromeOptions()
# 2. 配置对象添加开启无界面命令
chrome_options.add_argument('--headless')
# 3. 配置对象添加禁用gpu命令
chrome_options.add_argument('--disable-gpu')
# 4. 实例化带有配置对象的browser 对象
browser = webdriver.Chrome(chrome_options=chrome_options)

browser.get('https://www.baidu.com/')

# 查看请求的数据
print(browser.page_source)  # 查看渲染后的数据,就可以Xpath进行解析获取数据了
print(browser.get_cookies())  # 查看请求页面后的cookies值
print(browser.current_url)  # 查看请求url

# 关闭页面
browser.close()
# 关闭浏览器
browser.quit()

获取id:

from selenium.webdriver.common.by import By

# 获取第一个元素
browser.find_element(by=By.ID, value="list-1")
# 获取多个元素
browser.find_elements(by=By.ID, value="list-1")

获取文本:

ret = browser.find_element_by_class_name('element')
print(ret[0].text)

网页前进与后退:

# 前进
browser.forward()

# 后退 
browser.back()

ip代理:

from selenium import webdriver
import time

# 1. 实例化配置对象
options = webdriver.ChromeOptions()
# 2. 配置对象添加使用代理ip的命令
options.add_argument('--proxy-server=http://ip地址')  # 代理IP:端口号
# 3. 实例化带有配置对象的driver对象
driver = webdriver.Chrome(chrome_options=options)
driver.get("https://www.baidu.com")

# 获取页面内容
print(driver.page_source)

# 延迟3秒后关闭当前窗口,如果是最后一个窗口则退出
time.sleep(3)
driver.close()

请求头修改:

from selenium import webdriver
import time

agent = 'Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1'
# 1. 实例化配置对象
options = webdriver.ChromeOptions()
# 2. 配置对象修改请求头
options.add_argument('--user-agent=' + agent)
# 3. 实例化带有配置对象的driver对象
driver = webdriver.Chrome(chrome_options=options)
driver.get("https://www.baidu.com")

# 获取页面内容
print(driver.page_source)

# 延迟3秒后关闭当前窗口,如果是最后一个窗口则退出
time.sleep(3)
driver.close()

谢词:

感谢无羡大佬的指导,通过这段时间的学习与了解,对python的实际应用有了更多的经验,建议0基础且感兴趣的朋友移步无羡专栏进行系统的学习。 

猜你喜欢

转载自blog.csdn.net/qq_34217861/article/details/126453529
今日推荐