Python爬虫从入门到精通(六)表单与爬虫登录问题

「这是我参与11月更文挑战的第18天,活动详情查看:2021最后一次更文挑战

 前言

前面的章节中,我们介绍了如果在客户端与服务器之间进行数据交换。我们可以使用GET方法和POST方法与服务器进行交互,敏感数据只应使用POST请求进行发送,以避免将书暴露在URL中。当然,服务器还支持其他HTTP方法,比如PUT和DELETE等方法,但这些方法在表单中都不支持。

一、关于表单

客户端的浏览器需要与网站服务器进行交互,服务器需要根据用户输入返回对应的信息。

来看w3c的一个例子:

www.w3school.com.cn/html/html_f…

关于GET,POST与服务器的交互方法,可以见5.2节。

下面我们重点来看一个怎么处理登录表单的问题。

二、管理cookie

1、使用cookie登录

HTTP协议本身是无状态的,怎么保存来过或登陆过网站的信息?

所以我们需要在HTTP协议之外通过某种机制来识别用户的身份。于是就有了Session和Cookie。

什么是Cookie,什么是Session?

会话(Session)跟踪是Web程序中常用的技术,用来跟踪用户的整个会话。常用的会话跟踪技术是Cookie与Session。Cookie通过在客户端记录信息确定用户身份,Session通过在服务器端记录信息确定用户身份。

    Cookie意为“甜饼”,是由W3C组织提出,最早由Netscape社区发展的一种机制。目前Cookie已经成为标准,所有的主流浏览器如IE、Netscape、Firefox、Opera等都支持Cookie。由于HTTP是一种无状态的协议,服务器单从网络连接上无从知道客户身份。所以就给客户端们颁发一个通行证吧,每人一个,无论谁访问都必须携带自己通行证。这样服务器就能从通行证上确认客户身份了。这就是Cookie的工作原理。

Cookie实际上是一小段的文本信息。客户端请求服务器,如果服务器需要记录该用户状态,就使用response向客户端浏览器颁发一个Cookie。客户端浏览器会把Cookie保存起来。当浏览器再请求该网站时,浏览器把请求的网址连同该Cookie一同提交给服务器。服务器检查该Cookie,

以此来辨认用户状态。服务器还可以根据需要修改Cookie的内容。

我们通过一个实例来看一下怎么使用Cookie做登录的操作。有些时候爬虫只有登录之后才能抓取到网页中的信息。比如微博,知乎,人人网等。

关于Cookie的更详细信息,可以参看: www.w3cschool.cn/pegosu/skj8…

2、 ##补充知识 cookiejar的使用

Cookie有时间限制,有域的限制,有编码问题等等。如果自己来管理Cookie,会很繁琐,特别是当有多个Cookie需要管理时,想要很好的管理Cookie很困难。

当遇到网页登录后,返回302跳转的情况下,urllib2的Response会丢失Set-Cookie的信息,导致登录不成功。

我们需要一个通用的能处理Cookie的工具来自动处理Set-Cookie请求;自动管理过期的Cookie,自动在对应域下发特殊Cookie;为了应对这些问题,我们引入了CookieJar;

三、关于验证码(CAPTCHA)

网站为了防止黑客程序的恶意欺诈和攻击,采取的一种防御措施。据说最早是paypal这家公司引入的技术,现在已经在互联网网站中被广泛使用。

    一般处理验证码CAPTCHA有两种方式:

     1)在需要输入验证码时程序弹出图片让用户自己输入;

     2)使用图像识别技术来识别图中的信息;

光学字符识别 OCR:OCR(Optical Character Recognition,光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符,通过检测暗、亮的模式确定其形状,然后用字符识别方法,将形状翻译成计算机文字的过程;

程序处理复杂验证码的方法:

  1.使用Google的开源项目 Tesseract;

安装Tesseract:

Ubuntu中安装:

         sudo apt-get install tesseract-ocr

pip install pytesseract

训练与测试:www.cnblogs.com/cnlian/p/57…

简单的Python测试代码:

from PIL import Image

from pytesseract import *

# 加载图片

image = Image.open('test1.jpg')

# 识别过程

text = image_to_string(image)

print(text)
复制代码

2.使用百度AI等等:

\

猜你喜欢

转载自juejin.im/post/7031689903087829006