selenium headless模式下防止反爬及页面加载问题

1、无头模式下缺少浏览器信息，或默认填充的浏览器信息带有爬虫痕迹，会被识别为机器人而导致爬虫执行失败。

2、页面动态加载时，有时会根据页面size来布局控件，如果size太小会出现控件加载失败情况。

def HeadlessChromeDriver(headless = True,Proxy = None):
    from selenium.webdriver import Chrome
    from selenium.webdriver.chrome.options import Options
    chrome_options = Options()
    if(headless == True):
        chrome_options.add_argument("--headless")
        chrome_options.add_argument('--disable-gpu')        #一些情况下使用headless GPU会有问题（我没遇到）
        chrome_options.add_argument('window-size=1920x1080')#页面部分内容是动态加载得时候，无头模式默认size为0x0，需要设置最大化窗口并设置windowssize，不然会出现显示不全的问题
        chrome_options.add_argument('--start-maximized')    #页面部分内容是动态加载得时候，无头模式默认size为0x0，需要设置最大化窗口并设置windowssize，不然会出现显示不全的问题
    if(Proxy != None):
        chrome_options.add_argument("--proxy-server=" + Proxy)
    chrome_options.add_argument(
        'user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36')
    #添加user-agent，避免被当作爬虫脚本
    driver = Chrome(  options=chrome_options)
    with open('stealth.min.js') as f:
        js = f.read()

    driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
        "source": js
    })#加载stealth.min.js 文件，该文件会修改http协议中得head信息，避免被从其他方面识别为爬虫脚本

    driver.get('https://bot.sannysoft.com/')    #加载机器人检测页面，可以从各项指标判断当前程序是否为机器人
    # 保存源代码为 html 再双击打开，查看机器人检测页面返回的完整结果
    source = driver.page_source
    with open('result.html', 'w') as f:
        f.write(source)

    return driver

selenium headless模式下防止反爬及页面加载问题

猜你喜欢