[python爬虫可视化] 拉勾网python职位招聘数据


前言

诸如此类的文章不计其数,~~~~~~



开发工具

python 3.7

爬虫:requests模块

可视化:pyechart模块

其他的python标准模块:pickle,os,json



抓取目标是全国主要城市的招聘信息:

F12找了一下,发现:

通过一个post请求就可以获取数据:

post需要提供的参数如下(From Data这部分,对应requests的post方法的data参数):

pn代表页码,kd代表关键词。

在爬取过程中,发现每次只能获取5页,这样我们就需要使用requests的session来保持会话,获取初次访问的cookies,并 使用这个cookies来继续请求,每请求5页重新建立一个session,继续请求。

爬虫部分代码如下:

 获取到了数据,保存为pkl序列化的文件,然后我们就可以进行数据的分析了



数据分析

首先,让我们先来看看python相关的岗位的薪资一般有多少吧:

最少是11.57k(均值),最多则是25.14k(均值),诡异,北京和天津不是挺近的嘛~,重庆直辖市还是不行啊,说到底还是北上广深杭州高薪。

再来看看岗位的学历要求呗(我爬取的城市的招聘数据综合起来的结果,下同):

Emmmm,一般本科毕业就阔以了~

然后我们来看看工作性质呗:

OK,再来看看招聘Python相关岗位的公司的规模一般有多大吧:

迄今为止,代码测试无误。

QAQ,说实话,拉勾网的反爬做的还是可以的。

发布了161 篇原创文章 · 获赞 90 · 访问量 5万+

猜你喜欢

转载自blog.csdn.net/qq_42415326/article/details/97666345