二十七、 爬取Boss直聘的招聘信息

对于之前学的知识,作一个整合,爬取有点难度的boss招聘。不知不觉,七月份已经过去了,传说中的暑假实习招聘也应该随之结束了,我还是那个屌丝,发了几份,结果屁都没有,可能我是一个屌丝。

目标:爬取boss招聘网的全国技术实习岗位,(毕竟我没有工作过)并写入mongodb数据库

这里我选取了BOSS直聘上的Python职位进行分析,首先进行BOSS直聘链接,爬取职位信息,之后再对数据进行统计分析,写完爬虫部分后发现自己太啰嗦了,写了挺多了,这一篇先讲一下爬数据的过程,下一次再讲分析过程吧,那么进入正题吧。

boss招聘官网

https://www.zhipin.com/

一开始先爬去所有城市。

爬完之后天天封ip,不给我爬,以为我真的想爬你吗

爬完就不给我访问了,我说容易吗

先上爬取数据的全代码

from urllib.parse import urljoin
import requests
import pymongo
from pymongo.collection import Collection

猜你喜欢

转载自blog.csdn.net/weixin_44510615/article/details/90815237