2.5 点选验证码（bilibili点选验证码识别）

• 点选验证码是一种相对复杂的验证码，如下图所示，它不仅需要识别文字的内容，而且还需要识别文字的位置。
  

• 通过传统的识别手段点选验证码会比较麻烦，好在超级鹰也提供了相应的接口，如下图所示（详见https://www.chaojiying.com/price.html）。
  

• 我们只需修改2.1节中定义的cjy()函数的代码，将其中的PosPic()函数的第2个参数改成与点选验证码的类型对应的接口，如9004，修改后的代码如下：

def cjy(): #使用超级鹰识别图像验证码的自定义函数
    chaojiying = Chaojiying_Client('账号', '密码', '软件id')  # 用户中心>>软件ID
    im = open('a.png', 'rb').read()  # 打开本地图片文件,有时WIN系统须要//
    code = chaojiying.PostPic(im,9004)['pic_str']

• 最后返回的code是各个点选文字的坐标，例如返回的是285,54|472,59|513,144|342,157，那么4个点选文字的坐标分别是(285，54)、（472,59）、（513,144）、（342,157）。

2.5.1 本地网页识别

• 先用本书作者搭建的本地网页来演示如何用超级鹰识别点选验证码。和2.1节讲过的类似，要把“chaojiying.py”文件复制到编写代码的文件夹中，或者复制到Python安转位置下的Lib文件夹中。
• 网页中点选验证码识别的基本思路如下：
• • （1）用Selenium库打开网页
• • （2）用Selenium库的screenhot()函数截取点选验证码的图片并保存
• • （3）用cjy()函数识别点选验证中各个文字的坐标；
• • （4）对获取的坐标进行数据处理，方便下一步进行模拟单击
• • （5）用Selenium库依次模拟单击文字
• 如下图所示，在浏览器中打开包含点选验证码的本地网页文件“index.html”,打开开发者工具，复制点选验证码相关图片的XPath表达式（//*[@id=“verify”]），编写代码时会用到。
  
• 下面开始编写代码。先用Selenium库访问网址，代码如下：

from selenium import webdriver
import time
browser = webdriver.Chrome()
url = r'D:\works\python_crawl1\《Python爬虫（进阶与进通）》代码汇总\2.验证码反爬\5.点选验证码\点选验证码本地版\index.html'
browser.get(url) #用模拟浏览器打开网页
time.sleep(5) #等待一段时间，让验证码加载完毕

• 因为本例的点选验证码在刷新时有一个短暂的动态缩放效果，所以在打开网页之后，在第6行代码用time库的sleep（）函数等待5秒，让验证码加载完毕，使之后的截图更加准确。
• 接着用Selenium库的screenhot()函数截取验证码图片，代码如下：

canvas = browser.find_element_by_xpath('//*[@id="verify"]') #定位点选验证码
canvas.screenshot('a.png') #截取图片

• 关于上述代码有两点需要说明：第一，这里没有直接写browser.find_element_by_xpath(‘//[@id=“verify”]’).screenshot(‘a1.png’)，而是先定位点选验证码并赋给变量canvas（"画步"的意思），再用screenshot()函数截取图片，这是因为在后面依次模拟单击文字时需要用到变量canvas；第二，因为cjy()函数中打开的本地图片文件是“a.png”，所以在截取图片时也要保存为“a.png”。
• 然后用超级鹰识别图片，获得各个文字的坐标，代码如下：

from chaojiying import Chaojiying_Client
def cjy(): #使用超级鹰识别图像验证码的自定义函数
    chaojiying = Chaojiying_Client('账号', '密码', 'ID')  # 用户中心>>软件ID
    im = open('a.png', 'rb').read()  # 打开本地图片文件,有时WIN系统须要//
    code = chaojiying.PostPic(im,9004)['pic_str']
    return code

result = cjy()
result

• 识别结果如下：

'393,55|405,118|552,43|553,165'

• 上述结果对应的就是4个文字的坐标，并按文字的单击顺序排列。但是Selenium库的函数不能识别这种格式的坐标，所以还需要进行简单的数据处理。观察这一串坐标，可以发现各组坐标之间以“|”号分隔，每组坐标的x坐标和y坐标之间又以逗号分隔。根据这两个符号对字符串进行拆分，就可提取出各个文字的x坐标和y坐标，再整理成需要的格式，代码如下：

all_location = [] # 创建一个空列表，用于汇总处理后的各个文字的坐标
list_temp = result.split('|') #根据“|”拆分字符串，存储为临时列表
print(list_temp)

['393,55', '405,118', '552,43', '553,165']

for i in list_temp:
    list_i = [] # 创建一个空列表，用于存储每个文字的坐标
    x = int(i.split(',')[0]) #根据","拆分字符串，提取第1个元素（x坐标）并转换为整数
    y = int(i.split(",")[1])
    list_i.append(x) #添加x坐标
    list_i.append(y) #添加y坐标
    all_location.append(list_i)
all_location

[[393, 55], [405, 118], [552, 43], [553, 165]]

• 处理号坐标后，就可以用Selenium库依次模拟单击文字了，代码如下：

for i in all_location:
    x = i[0] # 提取x坐标
    y = i[1] # 提取y坐标
    action = webdriver.ActionChains(browser) # 启动动作链
    action.move_to_element_with_offset(canvas,x,y).click().perform() #根据坐标模拟单击文字
    time.sleep(1)

• 完整代码如下：

from chaojiying import Chaojiying_Client
from selenium import webdriver
import time

# 1.访问网址
browser = webdriver.Chrome()
url = r'D:\works\python_crawl1\《Python爬虫（进阶与进通）》代码汇总\2.验证码反爬\5.点选验证码\点选验证码本地版\index.html'
browser.get(url) #用模拟浏览器打开网页
time.sleep(5) #等待一段时间，让验证码加载完毕

# 2.截取点选验证码图片
canvas = browser.find_element_by_xpath('//*[@id="verify"]') #定位点选验证码
canvas.screenshot('a.png') #截取图片

# 3.使用超级鹰识别，获得各个文字的坐标
def cjy(): #使用超级鹰识别图像验证码的自定义函数
    chaojiying = Chaojiying_Client('账号', '密码', '	932868')  # 用户中心>>软件ID
    im = open('a.png', 'rb').read()  # 打开本地图片文件,有时WIN系统须要//
    code = chaojiying.PostPic(im,9004)['pic_str']
    return code
result = cjy()
print(result)


# 4.对获得的坐标进行数据处理
all_location = []  # 创建一个空列表，用于汇总处理后的各个文字的坐标
list_temp = result.split('|')  #根据“|”拆分字符串，存储为临时列表
print(list_temp)

for i in list_temp:
    list_i = [] # 创建一个空列表，用于存储每个文字的坐标
    x = int(i.split(',')[0]) #根据","拆分字符串，提取第1个元素（x坐标）并转换为整数
    y = int(i.split(",")[1])
    list_i.append(x)
    list_i.append(y)
    all_location.append(list_i)
print(all_location)

# 5.依次模拟单击文字
for i in all_location:
    x = i[0] # 提取x坐标
    y = i[1] # 提取y坐标
    action = webdriver.ActionChains(browser) # 启动动作链
    action.move_to_element_with_offset(canvas,x,y).click().perform() #根据坐标模拟单击文字
    time.sleep(1)

2.5.2 bibibi点选验证码识别初探

• 在浏览器中打开网址https://passport.bilibili.com/login,在下图所示的登录表单中输入账号和密码，单击“登录”按钮，就会出现下图所示的点选验证码。根据提示依次单击图片中的文字即可验证成功，如果单击的顺序或位置错误，都会验证失败。
  

• 最简单的解决方法是设置一定的等待时间，然后手动登录。这里为了巩固2.5.1讲解的方法，使用超级鹰来识别点选验证码。
• 先用Selenium库打开bilibili的登录页面，代码如下：

user = '账号' #需要改为实际登录的账号
password = '密码' #需改为实际登录的密码
browser.find_element_by_xpath('//*[@id="login-username"]').send_keys(user) #模拟输入账号
browser.find_element_by_xpath('//*[@id="login-passwd"]').send_keys(password) #模拟输入密码
browser.find_element_by_xpath('//*[@id="geetest-wrap"]/div/div[5]/a[1]').click() #模拟单击“登录"按钮
time.sleep(2)

• 然后截取验证码图片，保存为"bilibili.png"，代码如下：

canvas = browser.find_element_by_xpath('//*[@id="login-app"]/div/div[2]/div[3]/div[3]')
canvas.screenshot('bilibili.png')

• 将图片传给超级鹰进行识别，并接受超级鹰的识别结果。因为bilibili点选验证码中的文字为2~4个，所以选用9004接口，如下图所示（https://www.chaojiying.com/price.html）：
  
• 这里没有定义cjy()函数，而是直接使用超级鹰接口，代码如下：

from chaojiying import Chaojiying_Client
chaojiying = Chaojiying_Client('超级鹰账号', '密码', 'ID')
im = open('bilibili.png','rb').read() #打开本地图片文件
str = chaojiying.PostPic(im,9004)['pic_str'] #使用9004接口

• 对超级鹰进行返回的识别结果进行数据整理，代码如下：

all_location = []  # 创建一个空列表，用于汇总处理后的各个文字的坐标
list_temp = str.split('|')  #根据“|”拆分字符串，存储为临时列表
print(list_temp)

for i in list_temp:
    list_i = [] # 创建一个空列表，用于存储每个文字的坐标
    x = int(i.split(',')[0]) #根据","拆分字符串，提取第1个元素（x坐标）并转换为整数
    y = int(i.split(",")[1])
    list_i.append(x)
    list_i.append(y)
    all_location.append(list_i)
print(all_location)

• 处理好坐标后，用Selenium库依次模拟单击文字，代码如下：

for i in all_location:
    x = i[0] # 提取x坐标
    y = i[1] # 提取y坐标
    action = webdriver.ActionChains(browser) # 启动动作链
    action.move_to_element_with_offset(canvas,x,y).click().perform() #根据坐标模拟单击文字
    time.sleep(1)

• 最后模拟单击“确认”按钮，代码如下：

browser.find_element_by_xpath('/html/body/div[2]/div[2]/div[6]/div/div/div[3]/a/div').click() #模拟单击验证码“确认"按钮

• 完整代码如下：

from chaojiying import Chaojiying_Client
from selenium import webdriver
import time

# 1.访问网址
browser = webdriver.Chrome()
url = 'https://passport.bilibili.com/login'
browser.get(url) #用模拟浏览器打开网页

# 2.模拟登录账号和密码，并模拟单击“登录”按钮
user = '账号' #需要改为实际登录的账号
password = '密码' #需改为实际登录的密码
browser.find_element_by_xpath('//*[@id="login-username"]').send_keys(user) #模拟输入账号
browser.find_element_by_xpath('//*[@id="login-passwd"]').send_keys(password) #模拟输入密码
browser.find_element_by_xpath('//*[@id="geetest-wrap"]/div/div[5]/a[1]').click() #模拟单击“登录"按钮
time.sleep(2)

# 3.截取点选验证码图片
canvas = browser.find_element_by_xpath('//*[@id="login-app"]/div/div[2]/div[3]/div[3]')
canvas.screenshot('bilibili.png')

# 4.使用超级鹰识别点选验证码
chaojiying = Chaojiying_Client('账号', '密码', '	932868')
im = open('bilibili.png','rb').read() #打开本地图片文件
str = chaojiying.PostPic(im,9004)['pic_str'] #使用9004接口
print(str)

# 4.对获得的坐标进行数据处理
all_location = []  # 创建一个空列表，用于汇总处理后的各个文字的坐标
list_temp = str.split('|')  #根据“|”拆分字符串，存储为临时列表
print(list_temp)

for i in list_temp:
    list_i = [] # 创建一个空列表，用于存储每个文字的坐标
    x = int(i.split(',')[0]) #根据","拆分字符串，提取第1个元素（x坐标）并转换为整数
    y = int(i.split(",")[1])
    list_i.append(x)
    list_i.append(y)
    all_location.append(list_i) # 汇总各个文字的坐标
print(all_location)

# 6.依次模拟单击文字
for i in all_location:
    x = i[0] # 提取x坐标
    y = i[1] # 提取y坐标
    action = webdriver.ActionChains(browser) # 启动动作链
    action.move_to_element_with_offset(canvas,x,y).click().perform() #根据坐标模拟单击文字
    time.sleep(1)

# 7.模拟单击“确认”按钮，完成按钮
time.sleep(3)
browser.find_element_by_xpath('/html/body/div[2]/div[2]/div[6]/div/div/div[3]/a/div').click() #模拟单击验证码“确认"按钮

• 虽然经过两次尝试，成功点击所选的中文验证码，但是又出现了如下需要验证的页面。
  

2.5.3 bilibili点选验证码识别升级：无限尝试版

• 超级鹰并不是每次都能识别准确，因此，本级对2.5.2节的代码进行升级改造，实现自动判断是否登录成功，如果不成功就自动进行无限次尝试，直到成功为止。本节的思路也适用于对本章其他节的案例进行升级改造，希望读者好好体会。
• 无限尝试与24小时不间断爬虫类似，同样是通过while True构造无限循环，其思路具体如下：
• （1）定义一个识别函数，如yzm()函数（其名称来自“验证码”的拼音首字母缩写）；
• （2）进行一次识别和登录，然后判断是否登录成功；
• （3）若登录失败，则等待3秒后，继续调用识别函数对新的验证码进行识别和登录；
• （4）若登录成功，则用break语句退出循环。
• 其核心代码如下：

while True:
    result = yzm() 
    if '密码登录' in result and '短信登录' in result:
        time.sleep(3)
    else:
        break

• 接下来要解决两个关键问题：如何定义yzm()函数；如何判断是否登录成功。
• 先来看第1个问题。yzm()函数的定义其实非常简单，先把2.5.2节从开始截取验证码图片直到模拟点击“确认”按钮的代码都打包到yzm()函数中，然后添加代码，获取此时的网页源代码并设置为yzm()函数的返回值，方便之后使用。具体如下：

def yzm(): #定义验证码识别函数
    # 3.截取点选验证码的图片
    # 4.使用超级鹰识别点选验证码
    # 5.对获取的坐标进行数据处理
    # 6.依次模拟单击文字
    # 7.模拟单击“确认”按钮,完成登录
    # 8.等待2秒后，获取此时的网页源代码
    time.sleep(2)
    data = browser.page_source
    return data

• yzm()函数返回的网页源代码也是解决第2个问题的关键。如果超级鹰识别正确，那么单击“确认”按钮后就会登录成功，跳转到bilibili的首页；如果超级鹰识别错误，那么在单击“确认”按钮后则会留在登录页面，并更换新的验证码。因此，通过判断yzm()函数返回的网页源代码是否具备某些特征，我们就知道是否登录成功。
• 如下图所示，登录页面中有“密码登录”和“短信登录”这两个字符串，而这两个字符串是bilibili的首页所没有的，根据这一特征即可判断是否登录成功。
  
• 我们再来看看如下几行代码，配合注释，就能更好地理解了。

while True:
    result = yzm() #调用定义的yzm()函数，函数的返回值为网页源代码
    if '密码登录' in result and '短信登录' in result: #判断是否为登录页面，如果是登录页面，说明登录失败
        time.sleep(3) #等待3秒后继续循环
    else: # 如果不是登录页面，说明进入首页，登录成功
        break # 跳出循环

• 完整代码如下：

from chaojiying import Chaojiying_Client
from selenium import webdriver
import time

# 1.访问网址
browser = webdriver.Chrome()
url = 'https://passport.bilibili.com/login'
browser.get(url) #用模拟浏览器打开网页

# 2.模拟登录账号和密码，并模拟单击“登录”按钮
user = '账号' #需要改为实际登录的账号
password = '密码' #需改为实际登录的密码
browser.find_element_by_xpath('//*[@id="login-username"]').send_keys(user) #模拟输入账号
browser.find_element_by_xpath('//*[@id="login-passwd"]').send_keys(password) #模拟输入密码
browser.find_element_by_xpath('//*[@id="geetest-wrap"]/div/div[5]/a[1]').click() #模拟单击“登录"按钮
time.sleep(2)

def yzm(): #定义验证码识别函数
    # 3.截取点选验证码图片
    canvas = browser.find_element_by_xpath('//*[@id="login-app"]/div/div[2]/div[3]/div[3]')
    canvas.screenshot('bilibili.png')

    # 4.使用超级鹰识别点选验证码
    chaojiying = Chaojiying_Client('账号', '密码', '	932868')
    im = open('bilibili.png','rb').read() #打开本地图片文件
    str = chaojiying.PostPic(im,9004)['pic_str'] #使用9004接口
    print(str)

    # 4.对获得的坐标进行数据处理
    all_location = []  # 创建一个空列表，用于汇总处理后的各个文字的坐标
    list_temp = str.split('|')  #根据“|”拆分字符串，存储为临时列表
    print(list_temp)

    for i in list_temp:
        list_i = [] # 创建一个空列表，用于存储每个文字的坐标
        x = int(i.split(',')[0]) #根据","拆分字符串，提取第1个元素（x坐标）并转换为整数
        y = int(i.split(",")[1])
        list_i.append(x)
        list_i.append(y)
        all_location.append(list_i) # 汇总各个文字的坐标
    print(all_location)

    # 6.依次模拟单击文字
    for i in all_location:
        x = i[0] # 提取x坐标
        y = i[1] # 提取y坐标
        action = webdriver.ActionChains(browser) # 启动动作链
        action.move_to_element_with_offset(canvas,x,y).click().perform() #根据坐标模拟单击文字
        time.sleep(1)

    # 7.模拟单击“确认”按钮，完成按钮
    time.sleep(3)
    browser.find_element_by_xpath('/html/body/div[2]/div[2]/div[6]/div/div/div[3]/a/div').click() #模拟单击验证码“确认"按钮

    # 8.等待2秒后，获取此时的网页源代码
    time.sleep(2)
    data = browser.page_source
    return data

# 9.无限尝试识别验证码并登录，直到登录成功为止
while True:
    result = yzm() #调用定义的yzm()函数，函数的返回值为网页源代码
    if '密码登录' in result and '短信登录' in result: #判断是否为登录页面，如果是登录页面，说明登录失败
        time.sleep(3) #等待3秒后继续循环
    else: # 如果不是登录页面，说明进入首页，登录成功
        break # 跳出循环

• 以上代码能够实现模拟点击验证码，但是仍会出现如下验证页面。
  
• 如果遇到有难以处理的验证码（如淘宝的登录验证码），则可用一个讨巧的方法来解决：用Selenium库模拟访问网址后，借助time.sleep()等待一段时间，在这段时间内手动登录（如扫码登录）。