在ubuntu环境下,使用Chrome Headless
预先下载,谷歌浏览器和对应版本的chromedriver
链接:https://share.weiyun.com/5lZjn7v
安装谷歌浏览器
sudo dpkg -i 60.0.3112.90_amd64.deb
安装对应谷歌浏览器版本的,chromedriver
#解压,加上执行权限,移动到/usr/bin/文件夹下。
tar -xvzf chromedriver_linux64.zip
chmod +x chromedriver
sudo mv chromedriver /usr/bin/
安装selenium模块:pip3 install selenium
完成后,使用下述python代码,进行测试:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
url="http://news.163.com/"
chrome_options = Options()
# specify headless mode
chrome_options.add_argument("--headless")
browser = webdriver.Chrome(chrome_options=chrome_options)
browser.set_page_load_timeout(300)
browser.set_script_timeout(300)
browser.get(url)
title=browser.find_elements_by_xpath('//div[@id="js_top_news"]/h2/a')
print(title[0].get_attribute('innerHTML'))
browser.quit()