windows安装Anaconda3，Anaconda3安装scrapy抓取链家数据入门例子

一 windows安装Anaconda3

主要介绍scrapy在win7下的安装，这里的话并不推荐大家用python+pip安装，推荐使用Anaconda进行安装，为什么呢？因为如果你选择前者，填坑的过程可能会让你绝望，说不定会让你砸键盘、内分泌失调，所以强烈建议用Anaconda！不信的话大家可以试试！

这里的话简单介绍一下anaconda的下载，下载地址为：https://www.anaconda.com/download/
注意要根据自己的python环境来选择相应的版本下载，然后直接无脑下一步安装，期间可能碰到什么无法添加到菜单之类的弹出框，没关系直接忽略。
安装完后添加相应的Anaconda3环境变量：
在这里插入图片描述

二 Anaconda3注册scrapy

直接cmd执行：

conda install scrapy

然后直接cmd：

scrapy

验证scrapy是否安装成功

三抓取链家数据的例子

入门文档请看：scrapy1.5入门文档，写的非常细非常好

创建一个scrapy项目

scrapy startproject lianjia

编写代码抓取数据

在/lianjia/lianjia/spiders下创建lianjiaSpider.py：

import scrapy

class lianjiaSpider(scrapy.Spider):

    name = "lianjiaSpider"

    start_urls = ['https://sh.lianjia.com/ershoufang/pg1/']
     #循环抓取一百页的数据
    for page in range(1,100):
        url = 'https://sh.lianjia.com/ershoufang/pg{0}/'.format(page)
        start_urls.append(url)
    print (start_urls)
    def parse(self, response):

        mingyan = response.xpath('//li[@class="clear LOGCLICKDATA"]') # 提取li元素class为clear LOGCLICKDATA的列表数据
        print (mingyan)
        fileName = '链家.txt'
        with open(fileName, "a+") as f:
          for v in mingyan:
            title = v.xpath('.//div[@class="title"]//text()').extract_first() #进一步提取class为title的数据
            print ('title')
            print (title)
            f.write(title)
            unitPrice = v.xpath('.//div[@class="unitPrice"]//text()').extract_first() #进一步提取class为unitPrice的单价数据
            f.write('---' + unitPrice)
            f.write('\n')  # ‘\n’ 表示换行

        f.close()

然后在/lianjia（和scrapy.cfg同级）目录下执行

scrapy crawl lianjiaSpider

爬取一会后就会在/lianjia获得数据链家.txt：

大三房，价格实惠，采光无遮挡，有钥匙，看房方便---单价73615元/平米
双南户型、房型方正、精装修税费少、近地铁---单价55125元/平米
满五年税费少，采光棒，南北通透，精装修，配套齐全---单价39766元/平米
不靠路低总价小户型，自住装修，南北直通方正三房---单价77986元/平米
花木苑双南两房诚意出售+世纪公园一路之隔+2号线800米---单价73935元/平米
锦绣苑 2室2厅 670万---单价65642元/平米
经典三房户型，小区花园景观，带稳定租约，诚意出售---单价140540元/平米
本月必走房源、同户型价位低、税费少、业主已定好新房---单价60886元/平米
三房全明 南北通透  位置佳  采光充足看房随时---单价58428元/平米
静安豪景苑二期南北通厨卫全明大两房+外地房东诚意卖---单价109049元/平米
新舒苑 3室2厅 163万---单价15786元/平米
新上高区采光好小三房 南北直通 看房随时 得房率高。---单价79434元/平米
全明户型，总价是小区内价格低一套三房---单价115964元/平米
一手动迁、地铁口 、总价低、看房有钥匙---单价44576元/平米
1号线延长路地铁口 全明南北通透两居室 业主诚意出售---单价63392元/平米
品诚苑  经典小3房，诚意出售，皮夹子房源看房随时！---单价43600元/平米
新 2号线世纪公园高区含车位、低总价、诚意出售随时看---单价79751元/平米
地铁毛坯大三房   满五唯一    钥匙房---单价39481元/平米
满五唯一+正看小区花园+双南户型+采光宽阔+看房方便---单价86888元/平米
高区，南北通透，从未住过人次新房，浦明路一线滨江---单价96144元/平米
........
........
........

总共大概3000条左右，大家可以随意修改代码组合其它的数据

lightTrace

发布了169 篇原创文章 · 获赞 224 · 访问量 26万+

私信关注