selenium+opencv干掉滑动验证码

我们在用自动化测试来做爬虫的时候，总是会遇见很多的验证码，其中的滑块拼接验证就是其中一种；selenium是一个自动化测试库，opencv是计算机视觉库，我们可以用这两个库来模仿人工滑动验证码，完成验证码验证操作！

目标网站： http://dun.163.com/trial/sense
完成对象：

操作流程：

1、找到目标

• 这里我们需要使用selenium库来模拟操作浏览器，可以通过pip install selenium安装它，同时需要下载对应浏览器版本的webdriver来辅助控制电脑，这里就不详细讲解了，直接看操作流程：

from selenium import webdriver
import time

#创建浏览器
driver = webdriver.Chrome()

#输入网址，打开该网站
driver.get('http://dun.163.com/trial/sense')

#点击网页
#1、点击选择“可疑用户-滑动拼图”
driver.find_element_by_xpath('/html/body/main/div[1]/div/div[2]/div[2]/ul/li[2]').click()
time.sleep(1)#等待加载
#2、点击验证码位置“请完成安全验证”
driver.find_element_by_xpath('/html/body/main/div[1]/div/div[2]/div[2]/div[1]/div[2]/div[1]/div/div[2]/div[3]/div/div/div[1]/div[1]/span').click()

• 通过上面的流程找到验证码的位置，开始获取验证码图片

2、下载验证码图片

• 从网页中，我们可以看出这是两张图片：
  
• 现在需要把这两张图片下载到本地文件

    #获取到两张图片链接
    bg_img_scr = driver.find_element_by_xpath('/html/body/main/div[1]/div/div[2]/div[2]/div[1]/div[2]/div[1]/div/div[2]/div[3]/div/div/div[2]/div/div/div[1]/div/div[1]/img[1]').get_attribute('src')
    front_img_src = driver.find_element_by_xpath('/html/body/main/div[1]/div/div[2]/div[2]/div[1]/div[2]/div[1]/div/div[2]/div[3]/div/div/div[2]/div/div/div[1]/div/div[1]/img[2]').get_attribute('src')

    #把图片下载到本地
    with open('./bg.jpg',mode='wb') as f:
        f.write(requests.get(bg_img_scr).content)
        f.close()
    with open('./front.jpg',mode='wb') as f:
        f.write(requests.get(front_img_src).content)
        f.close()

3、识别图像戳口

3.1、读取本地图片并展示

• 这里包含三个部分，分别为：读取，展示，释放，缺一不可。

import cv2
#读取图片
bg = cv2.imread('./bg.jpg')
front = cv2.imread('./front.jpg')

#展示图片
cv2.imshow('gray1',bg)#gray1，gray2是窗口名称
cv2.imshow('gray2',front)

#释放资源
cv2.waitKey(0)#按任意键退出图片展示
cv2.destroyAllWindows()

展示结果：

3.2、图片灰度处理

• 图片灰度处理的目的是让颜色方差更明显

#灰度处理
bg = cv2.cvtColor(bg,cv2.COLOR_BGR2GRAY)
front = cv2.cvtColor(front,cv2.COLOR_BGR2GRAY)

3.3、去掉滑块黑色部分

• 目的是为了和背景图片进行匹配

front = front[front.any(1)]#0表示黑色，1表示高亮部分

3.4、识别图像位置

• 通过这个算法，图像从左上角开始匹配，进行像素点对比，并记录每个像素点的数值，以多维数组的方式返回
• 通过numpy将数组变为一维数组，索引出最大值的位置。

import numpy as np
#匹配->cv图像匹配算法
result = cv2.matchTemplate(bg, front, cv2.TM_CCOEFF_NORMED)#match匹配,Template模板;精度高，速度慢的方法
index_max = np.argmax(result)#返回的是一维的位置，最大值索引

• 根据一维数组的位置反推出二维数组中的位置。

#反着推最大值的二维位置，和opencv是相反的
x, y = np.unravel_index(index_max, result.shape)
print ("二维中坐标的位置：",x, y)

二维中坐标的位置： 79 145

• 这个位置就是戳口的位置

注意： opencv的坐标与坐标轴的是相反的。

4、拖动滑块

4.1、控制滑块滑动

from selenium.webdriver.common.action_chains import ActionChains
drop = driver.find_element_by_xpath('/html/body/main/div[1]/div/div[2]/div[2]/div[1]/div[2]/div[1]/div/div[2]/div[3]/div/div/div[2]/div/div/div[2]/div[2]')    
ActionChains(driver).drag_and_drop_by_offset(drop, xoffset=y, yoffset=0).perform()

4.2、验证是否滑动成功

• 当验证通过后，滑动底的部会出现“验证成功”，如图：
  
• 可以通过检查这个文字判断是否验证成功，如果第一次验证失败，可以继续验证，直到成功为止！

    success = driver.find_element_by_xpath('/html/body/main/div[1]/div/div[2]/div[2]/div[1]/div[2]/div[1]/div/div[2]/div[3]/div/div/div[1]/div[2]/span[2]').text
    if success == '验证成功':            
        break
    else:
        print ('第%s次验证失败...'%k,'\n')

代码汇总：

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import time,requests
import cv2
import numpy as np

#创建浏览器
driver = webdriver.Chrome()

#输入网址，打开该网站
driver.get('http://dun.163.com/trial/sense')

#点击网页
driver.find_element_by_xpath('/html/body/main/div[1]/div/div[2]/div[2]/ul/li[2]').click()
time.sleep(1)
driver.find_element_by_xpath('/html/body/main/div[1]/div/div[2]/div[2]/div[1]/div[2]/div[1]/div/div[2]/div[3]/div/div/div[1]/div[1]/span').click()
time.sleep(1)

k = 1
while True:
    #获取到两张图片链接
    bg_img_scr = driver.find_element_by_xpath('/html/body/main/div[1]/div/div[2]/div[2]/div[1]/div[2]/div[1]/div/div[2]/div[3]/div/div/div[2]/div/div/div[1]/div/div[1]/img[1]').get_attribute('src')
    front_img_src = driver.find_element_by_xpath('/html/body/main/div[1]/div/div[2]/div[2]/div[1]/div[2]/div[1]/div/div[2]/div[3]/div/div/div[2]/div/div/div[1]/div/div[1]/img[2]').get_attribute('src')

    #把图片下载到本地
    with open('./bg.jpg',mode='wb') as f:
        f.write(requests.get(bg_img_scr).content)
        f.close()
    with open('./front.jpg',mode='wb') as f:
        f.write(requests.get(front_img_src).content)
        f.close()

    #读取图片
    bg = cv2.imread('./bg.jpg')
    front = cv2.imread('./front.jpg')

    #灰度处理
    bg = cv2.cvtColor(bg,cv2.COLOR_BGR2GRAY)
    front = cv2.cvtColor(front,cv2.COLOR_BGR2GRAY)

    #去掉滑块黑色部分
    front = front[front.any(1)]#0表示黑色，1表示高亮部分

    #匹配->cv图像匹配算法
    result = cv2.matchTemplate(bg, front, cv2.TM_CCOEFF_NORMED)#match匹配,Template模板;精度高，速度慢的方法
    index_max = np.argmax(result)#返回的是一维的位置，最大值索引

    #反着推最大值的二维位置，和opencv是相反的
    x, y = np.unravel_index(index_max, result.shape)
    print ("二维中坐标的位置：",x, y)
    print ("正在进行第%s次滑动验证"%k)
    drop = driver.find_element_by_xpath('/html/body/main/div[1]/div/div[2]/div[2]/div[1]/div[2]/div[1]/div/div[2]/div[3]/div/div/div[2]/div/div/div[2]/div[2]')    
    ActionChains(driver).drag_and_drop_by_offset(drop, xoffset=y, yoffset=0).perform()
    time.sleep(1)
    
    #验证成功后获取“验证成功”，直到找到“验证成功”才跳出while True循环
    success = driver.find_element_by_xpath('/html/body/main/div[1]/div/div[2]/div[2]/div[1]/div[2]/div[1]/div/div[2]/div[3]/div/div/div[1]/div[2]/span[2]').text
    if success == '验证成功':            
        break
    else:
        print ('第%s次验证失败...'%k,'\n')
    k = k + 1
print ('已经通过验证码!!!') 

运行结果：

二维中坐标的位置： 50 258
正在进行第1次滑动验证
第1次验证失败... 

二维中坐标的位置： 79 145
正在进行第2次滑动验证
已经通过验证码!!!