Python爬虫学习：一些关于爬虫的知识的充电

什么是Http和Https

• http协议：全称是HyperText Transfer Protocol，中文意思是超文本传输协议，是一种发布和接收Html页面的方法。默认的端口号是80
• https协议：是http协议的加密版本，在HTTP下加入了SSL层。服务器端口号是443

在浏览器中发送一个Http请求的过程

1.  当用户在浏览器的地址栏输入一个url并点下确定键时，浏览器会向web服务器发送HTTP请求，HTTP请求主要有GET和POST两种方法
2. 发送过request请求后，服务器会返回一个response文件对象给浏览器
3. 浏览器分析response中的HTML，如果其中引入了其他的一些文件（css文件，js文件，等等）浏览器会自动再次发送request请求去获取这些文件
4. 当所有的文件都下载下来以后，网页会根据html的语法，在页面上完整的显示出来

URL的一些讲解

 URL：（Uniform Resource Locator的缩写），统一资源定位符。一个url的组成：

scheme://host:port/path/?key=value

• scheme:代表访问协议，一般为http或者https以及ftp等等
• host：主机名，域名
• port：端口号，当你访问一个网站的时候，默认的就是80端口
• path：查找的路径
• key=value：get请求的参数

在浏览器中请求一个url，浏览器会对这个url进行一个编码。除了英文字母，数字和部分符号以外，其他的全部使用百分号+十六进制码值进行编码