四十三、Scrapy 爬取前程无忧51jobs

@Author:Runsen

之前爬了拉钩,爬了boss ,你认为我会放过51jobs 吗

这是不可能的,今日用下scrapy 来爬 51jobs,前程无忧

关于新建项目和spider 不说了,今日用scrapy 对接selenium来爬,和之前用Scrapy 爬取天气网一模一样

一开始就是先处理 item。

通过对详情页的分析,可以爬取下面的信息。

from scrapy import Item,Field

class QcwyItem(Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    job_url

猜你喜欢

转载自blog.csdn.net/weixin_44510615/article/details/90970296