Python爬虫自学系列（六）

在这里插入图片描述

文章目录

前言

这就到了第六篇啦，很快啊。懂得都懂啦，这一篇相对会比较轻松一些。
（事实真的是这样的吗？不知道哦！！！）
毕竟这一篇是要讲验证码登录的嘛。

方法一：cookie登录

这是一种比较简单粗暴的方式啊，首先如果没有验证码的需求的话，碧如我之前爬CSDN抓到自己的个人信息那次。这种方式就很好了。

在这里插入图片描述

因为cookie和session的特性，在cookie的有效期内是可以上的去的。

之所以这么说呢，那自然是因为成功过了嘛（爬了哪些网站就不好说了嘛，理解一下）。不过由于测试次数较少，所以也不敢百分百保证能成功。
反正就是，登录之后尽快拿到cookie，尽快拿去登录。

这里我要说一句：在进行“高端操作”之前，不妨先拿个二十分钟来试试这个方法，万一就成了呢？
我曾经还想用selenium来手动登录，这种方法经测验可以登录的上去，但是爬取数据就没那么简单了（可能是我用selenium只会点点点，不会抓数据吧）。

方法二：光学字符识别

注：这个方法看不懂就不要看了，不出意外我这辈子不会用这个方法，更不会去用pytesseract

听这名字，牛逼吧。
其实就是OCR啦。

下载验证码图片

首先要找个目标网址嘛，先找那种简单的验证码，黑白文字的。
captcha图像样本链接，这里面有六十张灰度验证码图，够用啦。

先把图扒拉下来，可以看到这张图是内嵌在页面中的。像这样的图片要怎么办呢？
不难办啊这个，图片也是文件嘛，只要是文件，就肯定存在网站的文件夹下。
内嵌的图片，不过是以一种相对路径的方式来写的罢了。

用网站的根目录，加上图片的地址在试试看：https://captcha.com/images/captcha/botdetect3-captcha-ancientmosaic.jpg
现在能下载了不？

import requests

import os

import time

from lxml import etree

def get_Page(url,headers):

    response = requests.get(url,headers=headers)

    if response.status_code == 200:

        return response.text

    return None

def parse_Page(html,headers):

    html_lxml = etree.HTML(html)

    datas = html_lxml.xpath( './/div[@class="captcha_images_left"]|.//div[@class="captcha_images_right"]')

    # 创建保存验证码文件夹

    file = 'D:/YZM'

    if os.path.exists(file):

        os.chdir(file)

    else:

        os.mkdir(file)

        os.chdir(file)

    for data in datas:

    # 验证码名称

        name = data.xpath( './/h3')

    # 验证码链接

        src = data.xpath( './/div/img/@src')

    # print(len(src))

        count = 0

        for i in range(len(name)):

    # 验证码图片文件名

            filename = name[i].text + '.jpg'

            img_url = 'https://captcha.com/'+ src[i]

            response = requests.get(img_url,headers=headers)

            if response.status_code == 200:

                image = response.content

                with open(filename, 'wb') as f:

                    f.write(image)

                count += 1

                print( '保存第{}张验证码成功'.format(count))

                time.sleep( 1)

def main():

    url = 'https://captcha.com/captcha-examples.html?cst=corg'

    headers = {
    
     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'}

    html = get_Page(url,headers)

    parse_Page(html,headers)

if __name__ == '__main__':

    main()

百度文字识别

Python是有处理OCR的tesserocr库，据说准确率和上手程度没有百度这个润，所以就先讲这个了。

百度OCR-API文档

接口能力啥的我就不说了吧，人家自己有官宣的。

我着重讲讲怎么用。

首先，你要注册个账号。

百度人工智能程序的创建以及AKSK的获取

代码实现及测试

from aip import AipOcr  # pip install baidu-aip
import os

i = 0

j = 0

APP_ID = '你的 APP_ID '
API_KEY = '你的API_KEY'
SECRET_KEY = '你的SECRET_KEY'

client = AipOcr(APP_ID, API_KEY, SECRET_KEY)

# 读取图片

file_path = 'D:/YZM'

filenames = os.listdir(file_path)

# print(filenames)

for filename in filenames:
# 将路径与文件名结合起来就是每个文件的完整路径
    info = os.path.join(file_path,filename)

    with open(info, 'rb') as fp:
        # 获取文件夹的路径
        image = fp.read()

        # 定义参数变量
        options = {
    
    
            'detect_direction': 'true',
            'language_type': 'CHN_ENG',
        }

        # 调用通用文字识别接口
        result = client.basicGeneral(image,options)
        print(result)

        if result[ 'words_result_num'] == 0:
            print(filename + ':'+ '----')
            i += 1
        else:
            for word in result['words_result']:
                print(filename + ' : '+word['words'])
                j += 1

        print('共识别验证码{}张'.format(i+j))
        print('未识别出文本{}张'.format(i))
        print('已识别出文本{}张'.format(j))

惨不忍睹啊，就对了两张。。。

没事啊，别慌，我们对图像进行一下数字图像处理。

数字图像处理

from PIL import Image
import os


file_path = 'D:/YZM'
filenames = os.listdir(file_path)

for filename in filenames:
    info = os.path.join(file_path,filename)

    # 打开图片
    image = Image.open(info)

    # 传入'L'将图片转化为灰度图像
    gray = image.convert('L')

    bw = gray.point(lambda x: 0 if x < 1 else 255, '1')

    bw.save(filename)