笔记-selenium+chrome headless
1. selenium+chrome headless
phantomjs与selenium分手了，建议使用其它无头浏览器。
chrome也提供了无头浏览器，找到对应版本搭建测试环境。
1.1. 常规使用
先上代码，下面是常用调用方式。
from selenium.webdriver.chrome.options import Options
url = 'https://www.guazi.com/bj/buy/'
urls = ['https://www.taobao.com/','https://www.tmall.com/','https://www.csdn.net/']
time1 = time.time()
try:
cookie_t = {}
chrome_option = Options()
chrome_option.add_argument('--headless')
#chrome_option.add_argument('--disable-gpu')
browser = webdriver.Chrome(chrome_options=chrome_option)
browser.get(url)
cookie_t['antipas'] = browser.get_cookie('antipas')['value']
print(cookie_t)
for _ in urls:
browser.get(_)
time.sleep(3)
with open('xxx.txt','a+',encoding='utf-8') as fi:
fi.write(browser.page_source)
browser.close()
except:
print('error')
finally:
browser.quit()
time2 = time.time()
print(time2-time1)
爬虫的代码有一点需要注意，需要操作事件的时候最好不要直接用相应的方法，比如click。最好嵌入js脚本的方式进行调用。因为爬虫的代码执行速度很快，前端元素结构往往反应不过来，从而找出元素不可见或者不存在的错误。
其它常用设置项：
# 设置代理
chromeOptions.add_argument("--proxy-server=http://202.20.16.82:10152")
# 一定要注意，=两边不能有空格，不能是这样--proxy-server = http://202.20.16.82:10152
browser = webdriver.Chrome(chrome_options = chromeOptions)
1.2. 更多设置及操作项
1.2.1. 对于浏览器窗口的操作
在浏览器中有些操作是使用系统原生的确认框，这时就无法通过定位元素的方式来操作我们需要的步骤。这种情况就要去操作浏览器的窗口来实现。
1.弹出窗口为Confirm类型
选择确认：
Alert al = driver.switchTo().alert();
al.accept();
选择取消：
Alert al = driver.switchTo().alert();
al.dismiss();
2.弹出窗口为Alert类型
Alert al = driver.switchTo().alert();
al.accept();
3.放大浏览器窗口
driver.manage().window().maximize();
4.关闭浏览器窗口
driver.quit();
driver.close();
5.刷新/前进/后退浏览器
driver.navigate().refresh();
driver.navigate().forward();
driver.navigate().back();
quit和close的区别在于，quit关闭整个浏览器的窗口；close关闭浏览器标签页。
1.2.2. 程序等待方式
在使用selenium的过程中，等待web加载时，通常要等待下一个元素出现再进行操作，这个过程中需要用到等待。selenium中有3种等待：webDriverWait()、implicitly_wait()、sleep().
1）sleep()：强制等待，设置固定的休眠时间。任何情况下都等待设置的时间。
//引入前导入相应的包，单位为毫秒；
sleep(5);
2）implicitly_wait()：隐式等待，等待一个元素被发现、命令完成，超出了设置的时间则跑出异常；
//设置脚本在查找元素时的最大等待时间
WebDriver driver = new ChromeDriver();
driver.manage().timeouts().implicitlyWait(15, TimeUnit.SECONDS);
3）webDriverWait()：显示等待，明确要等待的元素在指定时间之内没找到,那么就抛出Exception.
//设置等待的时长，最长10S
WebDriverWait wait = new WebDriverWait(driver, 10); wait.until(ExpectedConditions.presenceOfElementLocated(By.xpath("//div[@id='appContentContainer']/div/div/div[1]/div[2]/div/div/button")));