网络爬虫day03

寻找登陆的post地址

• 在from表单中寻找action对应的url地址
  – post的数据是input标签中name的值作为键，真正的用户名作为值的字典，post的url地址就是action对应的url地址
• 抓包，寻找登陆的url地址
  –勾选perserve log按钮，防止页面跳转找不到url
  –寻找post数据，确定参数
  参数会变，参数则在当前响应中，通过js生成
  不会变，直接用，比如密码不是动态加密的时候

定位想要的js

• 选择会触发js时间按钮，点击event listener，找到js的位置
• 通过Chrome中的search all file来搜索url中的关键字
• 添加断电的方式来查看js的操作，通过Python来进行同样的操作

requests小技巧

• r = requests.get(url)
  requests.dict_from_cookiejar(r.cookies) 将cookie转化成字典
  requests.cookiejar_from_dict() 将字典转化为cookie
• 请求SSL证书验证
  r = requests.get(url,verfiy=True)
• 设置超时
  r = requests.get(url,timeout=10)
• 配合状态码判断是否请求成功
  assert r.status_code==200