python爬虫——Chrome Headless的使用及安装

在ubuntu环境下,使用Chrome Headless

预先下载,谷歌浏览器和对应版本的chromedriver

链接:https://share.weiyun.com/5lZjn7v

安装谷歌浏览器

sudo dpkg -i 60.0.3112.90_amd64.deb

安装对应谷歌浏览器版本的,chromedriver

#解压,加上执行权限,移动到/usr/bin/文件夹下。

tar -xvzf chromedriver_linux64.zip

chmod +x chromedriver

sudo mv chromedriver /usr/bin/
 

安装selenium模块:pip3 install selenium

完成后,使用下述python代码,进行测试:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

url="http://news.163.com/"
chrome_options = Options()
# specify headless mode
chrome_options.add_argument("--headless")
browser = webdriver.Chrome(chrome_options=chrome_options)
browser.set_page_load_timeout(300)
browser.set_script_timeout(300)
browser.get(url)
title=browser.find_elements_by_xpath('//div[@id="js_top_news"]/h2/a')
print(title[0].get_attribute('innerHTML'))
browser.quit()

猜你喜欢

转载自blog.csdn.net/qq_27437197/article/details/86529805