Python Urllib

1. Urllib 简介
2. Urllib 如何爬取网页
3. Urllib Header 属性
4. Urllib 超时设置
5. Urllib 提交HTTP请求
6. Urllib 使用代理服务器
7. Urllib DebugLog 调试
8. Urllib URLError 异常处理
9. Urllib 使用 Cookie 登录

 

1. Urllib 简介

(1) Urllib 是 Python 提供的一个用于操作 URL 的模块，也是我们使用爬虫爬取网页常用到的一个库
(2) 在 Python2.x 中，有 Urllib 和 Urllib2 两个模块；在 Python3.x 中，Urllib2 合并到了 Urllib 中
(3) 在 Python2.x 中使用 import urllib, urllib2 ；在 Python3.x 中使用 import urllib
(4) 在 Python2.x 中使用 urllib2.urlopen ；在 Python3.x 中使用 urllib.request.urlopen
(5) 在 Python2.x 中使用 urllib2.Request ；在 Python3.x 中使用 urllib.request.Request
(6) 在 Python2.x 中使用 urllib.quote ；在 Python3.x 中使用 urllib.request.quote
(7) 在 Python2.x 中使用 cookielib.CookieJar ；在 Python3.x 中使用 http.CookieJar
(8) 在 Python2.x 中使用 urllib.urlencode ；在 Python3.x 中使用 urllib.parse.urlencode

2. Urllib 如何爬取网页