关于HTTP和HTTPS

1.HTTP 和 HTTPS的概念

HTTP:

  • 超文本传输协议
  • 默认端口号:80

HTTPS:

  • LHTTP + SSL(安全套接字层),即带有安全套接字层的超本文传输协议
  • 默认端口号:443

HTTPS比HTTP更加安全,但是性能方面要低一些。

2. 浏览器发送HTTP请求的过程

2.1 http请求的过程

  • 浏览器先向地址栏中的url发起请求,并获取响应
  • 在返回的响应内容(html)中,会带有css、js、图片等url地址,以及ajax代码,浏览器按照响应内容中的顺序依次发送其他的请求,并获取相应的响应
  • 浏览器每获取一个响应就对展示出的结果进行添加(加载),js,css等内容会修改页面的内容,js也可以重新发送请求,获取响应
  • 从获取第一个响应并在浏览器中展示,直到最终获取全部响应,并在展示的结果中添加内容或修改————这个过程叫做浏览器的渲染。

2.2注意

但是在爬虫中,爬虫只会请求url地址,对应的拿到url地址对应的响应(该响应的内容可以是html,css,js,图片等)

浏览器渲染出来的页面和爬虫请求的页面很多时候并不一样

所以在爬虫中,需要以url地址对应的响应为准来进行数据的提取。

3.HTTP常见请求头

扫描二维码关注公众号,回复: 4505360 查看本文章
Host (主机和端口号)
Connection (链接类型)
Upgrade-Insecure-Requests (升级为HTTPS请求)
User-Agent (浏览器名称)
Accept (传输文件类型)
Referer (页面跳转处)
Accept-Encoding(文件编解码格式)
Cookie (Cookie)
x-requested-with :XMLHttpRequest (表示该请求是Ajax异步请求)

爬虫所需要关注的是
User-Agent
Referfer
Cookie

猜你喜欢

转载自blog.csdn.net/weixin_42943975/article/details/84883493