Answer：web crawler question 1

概述

Question 1

1、cookie、JavaScript的关系？怎么产生的cookie？cookie包含哪些内容？JavaScript的功能在crawler代码中通过python的第三方库selenium，selenium用于执行JavaScript的脚本语

言，那selenium是什么？运行脚本语言的脚本语言？

Cookie产生背景

Cookie背景和意义：web应用包含多个页面，每个页面都对应一个url地址。web浏览器向Web服务器发送了两个请求，申请了两个页面。这两个页面的请求是分别使用了两个单独的

HTTP连接。由于HTTP是无状态的协议，浏览器和Web服务器会在第一个请求完成以后关闭连接通道，在第二个请求的时候重新建立连接。如果没有cookie，Web服务器并不区分哪

个请求来自哪个客户端，对所有的请求都一视同仁，都会针对这些请求建立单独的连接。无状态的协议优点：每个连接资源能够很快被其他客户端所重用；缺点：同一个用户发送的请

求都建立单独的连接产生多余的时间消耗！Cookie：记录用户登陆状态，可以优化HTTP是无状的缺点，而且设置cookie的域范围实现跨三级域名之间的cookie共享，那么有一个问题

如何实现跨二级域名之间的登陆信息共享呢、比如www.taobao.com和www.tmall.com之间就是登陆信息共享的。HTTP1.0版本无状态协议，HTTP1.1版本是支持持久连接的！

一、cookie

假设：web服务器接收到http请求，根据http请求的IP数据包中请求头中的客户端IP（key-value应该有映射关系）、coding（客户端编译器的语言）、浏览器url、等信息，使用？？？

数据结构抽象出一个结构体保存这些信息。保存在浏览器？这个结构体就是cookie。

拓展：1、JSESSIONID是一个Cookie，Servlet容器（tomcat，jetty）用来记录用户session

cookie

1、web crawler书籍解释：cookie是网站记录和跟踪用户登录凭据，包含用户是否已登录状态信息。cookie结构体包含：令牌、登录有效时限、状态跟踪信息

2、https://www.jianshu.com/p/6fc9cea6daa2解释：http协议本身是无状态的，web客户端使用http协议与web服务器交互，web服务器可以通过每次提交的IP数据包的请求头获取客户

端IP，将web服务器中的资源传递到对应的web客户端，但是web服务器无法跟踪web客户端。web客户端在web浏览器输入url地址（同一资源定位），发送IP数据报web服务端，web

服务端使用response向客户端浏览器颁发一个Cookie。Cookie保存在web浏览器。web浏览器再请求该网站时，web浏览器把请求的网址连同该Cookie一同提交给web服务器。web

服务器检查该Cookie，以此来跟踪用户状态。

cookie的结构体

1、https://blog.csdn.net/talking12391239/article/details/9665185的分析：

　　Cookie 结构体：Set－Cookie: NAME=VALUE；Expires=DATE；Path=PATH；Domain=DOMAIN_NAME；SECURE

NAME=VALUE：NAME是该Cookie的名称，VALUE是该Cookie的值。在字符串“NAME=VALUE”中，不含分号、逗号和空格等字符　　

Expires=DATE：Expires变量确定了Cookie有效终止日期。该属性值DATE必须以特定的格式来书写：星期几，DD－MM－YY HH:MM:SS GMT，GMT表示这是格林尼治时间。反之，

不以这样的格式来书写，系统将无法识别。

注：Expires变量可省，如果缺省时，则Cookie的属性值不会保存在用户的硬盘中，而仅仅保存在内存当中，Cookie文件将随着浏览器的关闭而自动消失

Domain=DOMAIN－NAME:Domain变量确定了哪些Internet域中的Web服务器可读取浏览器所存取的Cookie，即只有来自这个域的页面才可以使用Cookie中的信息。这项设置是可选

的，如果缺省时，设置Cookie的属性值为该Web服务器的域名，所指定的域必须以点号(.)来开始如：.cnblogs.com

注：Internet域包含多个web服务器

Path=PATH：Path属性定义了Web服务器上哪些路径下的页面可获取服务器设置的Cookie。一般如果用户输入的URL中的路径部分从第一个字符开始包含Path属性所定义的字符串，

浏览器就认为通过检查。如果Path属性的值为“/”，则Web服务器上所有的WWW资源均可读取该Cookie。同样该项设置是可选的，如果缺省时，则Path的属性值为Web服务器传给浏

览器的资源的路径名。

Secure：Secure变量表明：只有当 web 浏览器和 Web 服务器之间的通信协议为加密认证协议时，浏览器才向服务器提交相应的Cookie。当前这种协议只有一种，即为HTTPS！

max-age: 与expires作用相同，用来告诉浏览器此cookie多久过期（单位是秒），而不是一个固定的时间点。正常情况下，max-age的优先级高于expires。maxAge属性为负数，则表

示该Cookie只是一个临时Cookie，不会被持久化，仅在本浏览器窗口或者本窗口打开的子窗口中有效，关闭浏览器后该Cookie立即失效。maxAge设置为0表示立即删除该Cookie

cookie的发送

　　web服务器利用响应报头Set-Cookie以键值的方式来发送COOKIE信息，在RFC2109中定义的SET-COOKIE响应报头的格式为：

Set-Cookie: Name = Value; Comment = value; Domain = value; Max-Age = value; Path = Value;Secure; Version = 1 * DIGIT;

注： 1、Name=Value属性值对必须首先出现，在此之后的属性-值对可以以任何顺序出现

　　 2、Comment属性是可选的,因为Cookie可能包含其它有关用户私有的信息，这个属性允许服务器说明这个Cookie的使用，用户可以检查这个消息

　　 3、web浏览器会将domain和path都相同的cookie保存在一个文件里，cookie间用*隔开

　　 4、多个子键值对的cookie格式是name=key1=value1&key2=value2。可以理解为单键值对的值保存一个自定义的多键值字符串

cookie的客户端的存取cookie、服务器端解析cookie

1、服务器端解析cookie：cookie可以设置不同的域与路径，所以对于同一个name value，在不同域不同路径下是可以重复的，浏览器会按照与当前请求url或页面地址最佳匹配的顺序

来排定先后顺序

2、客户端的存取cookie：web浏览器将后台传递过来的cookie进行管理。开发者在JavaScript中使用document.cookie来存取cookie，但是cookie中设置了HttpOnly属性，那么通过js

脚本(document.cookie)将无法读取到cookie信息，而且document.cookie会由于使用方式不同而表现出不同的行为

2.1、document.cookie并不会覆盖cookie，除非设置的name value domain path都与一个已存在cookie重复

Cookie安全性

cookie中的数据通常会包含用户的隐私数据，Cookie安全性首先要保证数据的保密性，其次要保证数据不能被伪造或者篡改。基于这两点，cookie内容需要进行加密，加密方式：

对称加密(单密钥，如DES)或非对称加密(一对密钥，如RSA)。密钥需要保存在服务器端一个安全的地方。没有密钥就无法对数据进行解密，也无法伪造或篡改数据。重要的cookie数

据需要设置成HttpOnly的，避免跨站脚本获取你的cookie，保证了cookie在浏览器端的安全性。cookie可以设置只作用于安全的协议(https）通过Cookie类的setSecure(boolean flag)

来设置cookie只会在https下发送，而不会再http下发送，保证了cookie在服务器端的安全性。JavaEE中的Cookie类。