requests模块
# requests 学习 # 安装 # pip install requests # 导入模块 import requests # 访问网页 # res = request.get('URL') # res = requests.get('http://127.0.0.1:8000/index') # # 基本应用 # print(res.text) # print(res.content) # res.encoding # res.apparent_encoding # res.status_code # 参数详解 # requests.request() # - method 参数: 提交方式 # GET,POST,PUT,DEL # - url 参数: 提交地址 # - params 参数: 在URL中传递的参数,get # - data 参数:在请求体中传递数据(请求头中参数 content-type:application/url-from-...) # 请求体中数据: {'a':1,'b':2}字典形式 或者 'a=1&b=2' # - json 参数:在请求体中传递数据(请求头中参数 content-type:application/json) # 请求体中数据:{'a':123}字典方式,支持嵌套 # PS: data方式与 json方式区别在于 字典数据是或否可以支持嵌套 # - headers 参数: # headers={ 参数 # 比较重要的参数 1.浏览器类型 2.使用设备类型,都是在headers中添加的. # } # - cookies 参数: # cookies={'cookies':cooikse} # - files 参数 # 上传文件 # - auth 参数 # 在headers中加入加密的用户名 和密码 # - timeout 参数 # 请求和响应的超时时间 # - allow_redirects 参数 # 是否允许中定向(跳转) # - proxies 参数 # 代理 # - verify 参数 # 是否忽略证书 # - cert 参数 # 证书,添加证书文件 # - stream 参数 # 边下边存属性 # - session参数: # 用于保存客户端的历史访问信息 # 示例: # requests.request( # method = 'GET', # url='http://127.0.0.1:8000/index', # params = {'k1':'v1'}, # data = {'a':1123}, # json = {'b',123123}, # headers={......}, # cookies={'cookies':'values'}, # ) # 爬虫实例: # import requests # from bs4 import BeautifulSoup # # res = requests.get(url="http://www.autohome.com.cn/news/") # res.encoding = res.apparent_encoding # print(res.text) # # soup = BeautifulSoup(res.text,features='html.parser') # target = soup.find(id="auto-channel-lazyload-article") # li_list = target.find_all('li') # # for i in li_list: # a = i.find('a') # if a: # print(a.attrs.get('href')) # print(type(a))