问题
最近很多人都在问拉勾反爬是怎么回事，简单说下。
这是小编准备的python爬虫学习资料，需要的，加群：853222554即可获取啦！
拉勾职位数据都在Ajax加载中，每一个请求都会携带上一次返回的cookies。我们来做个试验，先在浏览器中打开该网址：`https://www.lagou.com/jobs/list_?px=new&city=%E5%85%A8%E5%9B%BD`，搜索全国职位数据，所有职位数据都在这里：
可以看到还有有职位总数totalCount字段，但是该字段真实性需要考证。
复制curl放在postman中发送，但是却发现这个
难道我们IP被BAN了，这个时候再去浏览器刷新，发现是可以打开的，ip没有被拉黑，这里的问题就是拉勾每一个职位请求都会去验证cookies。
Chrome的BUG
这个时候仔细看看该HTTP报文，发现如下：
Request Headers并没有显示全部，这个的原因不深究，有兴趣的google下。我把这里的现象叫做Chrome的BUG，即不会显示所有的请求报文（访问淘宝也会这样）
Request Headers可以说是最重要的，但是现在看不全，如何解决。提供两种方法：
- Charles抓包
- 使用firefox
下面说下怎么看firefox，至于charles则需要配合插件`Proxy SwitchyOmega`使用，用Charles设置好端口即可。
使用firefox
使用firefox打开上面那条请求，有如下发现
会显示完整请求头，对比Chrome，差别就出来了。现在的问题是这几个cookies是本地生成的还是服务端返回的。仔细寻找发现是第一条请求发送之后，对方服务器返回的，如图
在响应头中可以看到Set-Cookie，那么问题就很好解决了，使用requests的session就很容易了，如果用Scrapy，设置meta中的cookiejar即可。
代码：[requests to get lagou python job](<https://gist.github.com/zhangslob/a28496e5d7a96062acadc76ddf835aad>)
如何全站爬取
可以根据条件筛选，当筛选条件的查询结果总量小于15*30=450时就可以开始抓取，否则细化筛选