一、准备
1、数据库安装配置
- mongodb、redis、mysql
2、python多版本共存配置
环境变量配置
- python安装好后配置系统环境变量之后可以在cmd里面直接使用python命令
- 我直接是安装的 anaconda3 的环境，安装的时候可以选择是否加入到环境变量
多版本共存问题
- 多版本python 安装配置环境变量后，python 和 pip 等命令存在重名问题，默认调用的是环境变量配置靠前的
- 要想不同的版本能够互不影响使用的话解决方法是，在python2和python3都存在的情况下，可以直接将python3里面的python和pip等直接复制一份，改名为python3和pip3，pip可能还需要新建一个 py 文件，python2同样的操作，复制改名为python2和pip2，这样命令行里面可以直接通过不同的命令名调不同的python环境
3、爬虫常用库的安装
- 安装命令：
pip install requests
常用库
- 请求：urllib、re（内置）、requests
- 渲染：selenium（ChromeDriver）、phantomjs
- 解析：lxml、beautifulSoup、pyquery
- 存储：pymysql、pymongo
- 分布式：redis、flask
- 其他：django、jupyter
二、爬虫原理
1、基本流程
发起请求
- 很多网站要求带 header，其中最主要的是 UA 和 cookie
- 还有的网站要请求的数据的话会需要加上验证的参数（请求参数）
接受响应
- 响应内容可能是 html、xml、json和二进制数据等
解析内容
- 通过正则、xpath、bs4、pyquery 等获取有效的数据
保存数据
- 文本可以直接保存文件，还可以存到数据库（关系和非关系），还可以存二进制文件（视频音频等）
三、urllib库详解
1、综述
- urllib提供了一系列用于操作URL的功能
- 常用的有三个模块：request（发送请求）、error（错误处理）、parse（解析html）
2、请求request
request对象
request.Request(url=url,data=data,headers=headers,method='POST')
request.add_header('.....')
代理：需要通过一个handler和openner来处理
3、响应response
响应头和状态码
reponse.status、response.getHeader
响应体
response.read().decode(‘utf-8’)
cookie：需要通过一个handler和openner来处理
4、异常处理error
作用：保证程序的正常运行；
常用的：URLerror–父类、HTTPerror
5、URL解析parse
url的组成：协议、域名、路径、参数、锚点（用于指定网络资源中的片断，以 # 为标志）
常用方法：urlparse（分割）、urlunparse（组合）、urljoin（后面替换前面）、urlencode
urlencode（）:将字典转化为 get 请求的参数
from urllib.parse import urlencode
base_url=‘https://www.baidu.com?’
dict1={
‘name’:‘kaka’,
‘password’:‘ab123’
}
print (base_url+urlencode(dict1))
四、request库详解
1、GET请求
带参数的get请求
import requests
dict2={
‘name’:‘kaka’,
‘password’:‘ab123’
}
resp = requests.get(‘https://httpbin.org/get’,params=dict2)
print (resp.text)
json解析
import requests
import json
resp = requests.get(‘https://httpbin.org/get’)
print (resp.json())
print(json.loads(resp.text))
获取二进制数据
import requests
resp = requests.get(‘https://ss0.bdstatic.com/5aV1bjqh_Q23odCf/static/superman/img/logo/logo_white_fe6da1ec.png’)
with open(‘e:\1.png’,‘wb’) as f:
f.write(resp.content)
f.close()
添加headers
某些网站需要验证请求头的信息
import requests
requests.get(’…’,headers=headers)
2、POST请求
方法类似get请求的方法，请求体用一个字典封装(data)
requests.post(’’,data=data,headers=headers)
3、高级操作
文件上传
import requests
file={
‘12.png’:open(‘e:\1.png’,‘rb’)
}
resp=requests.post(‘https://httpbin.org/post’,files=file)
print(resp.text)
获取cookie
import requests
resp=requests.get(‘https://www.baidu.com’)
for k,v in resp.cookies.items():
print(‘key=’+k+’ value=’+v)
登录状态保持
response.cookies
import requests
se = requests.Session()
resp=se.get(‘https://httpbin.org/cookies/set/name/kaka’)
resp2 = se.get(‘https://httpbin.org/cookies’)
print(resp2.text)
证书验证：get(’…’,verify=false)
代理设置：get(’…’,proxys=proxys)
超时设置：get(’…’,timeout=1)
认证设置：get(’…’,auth=(‘kaka’,‘123’))
异常处理：保证程序的正常运行
