对于之前学的知识,作一个整合,爬取有点难度的boss招聘。不知不觉,七月份已经过去了,传说中的暑假实习招聘也应该随之结束了,我还是那个屌丝,发了几份,结果屁都没有,可能我是一个屌丝。
目标:爬取boss招聘网的全国技术实习岗位,(毕竟我没有工作过)并写入mongodb数据库
这里我选取了BOSS直聘上的Python职位进行分析,首先进行BOSS直聘链接,爬取职位信息,之后再对数据进行统计分析,写完爬虫部分后发现自己太啰嗦了,写了挺多了,这一篇先讲一下爬数据的过程,下一次再讲分析过程吧,那么进入正题吧。
boss招聘官网
https://www.zhipin.com/
一开始先爬去所有城市。
爬完之后天天封ip,不给我爬,以为我真的想爬你吗
爬完就不给我访问了,我说容易吗
先上爬取数据的全代码
from urllib.parse import urljoin
import requests
import pymongo
from pymongo.collection import Collection