Un Anaconda3 instalación de windows
Presenta Scrapy instalan en win7, las palabras que aquí no recomiendo que use + pip instalar la instalación Anaconda recomendada pitón, ¿por qué? Porque si se elige la primera, el proceso de llenar el hoyo puede hacer que la desesperación, puede que se alcanzó el teclado, trastornos endocrinos, se recomienda encarecidamente el uso de Anaconda! No crea, entonces usted puede probar!
Entonces aquí es una breve descarga, anaconda es: https://www.anaconda.com/download/
Nota Para descargar la versión adecuada a elegir de acuerdo a su propio entorno pitón, entonces el siguiente paso directamente sin cerebro instalación, puede tocar durante lo que no puede ser añadido al menú emergente y similares, que no importa simplemente ignorado.
Después de la instalación de Anaconda3 añadir la variable de entorno apropiado:
Dos Anaconda3 scrapy registrada
Dirigir ejecutar comando:
conda install scrapy
Luego directamente cmd:
scrapy
Scrapy verificar si la instalación se ha realizado correctamente
Tres ejemplos de recuperación de datos en cadena de la casa
Consulte la documentación de introducción: documentos de entrada scrapy1.5 , escritos en muy fino muy bueno
La creación de un proyecto scrapy
scrapy startproject lianjia
Escribir código para obtener los datos
La creación de lianjiaSpider.py En Lianjia / / / Lianjia arañas:
import scrapy
class lianjiaSpider(scrapy.Spider):
name = "lianjiaSpider"
start_urls = ['https://sh.lianjia.com/ershoufang/pg1/']
#循环抓取一百页的数据
for page in range(1,100):
url = 'https://sh.lianjia.com/ershoufang/pg{0}/'.format(page)
start_urls.append(url)
print (start_urls)
def parse(self, response):
mingyan = response.xpath('//li[@class="clear LOGCLICKDATA"]') # 提取li元素class为clear LOGCLICKDATA的列表数据
print (mingyan)
fileName = '链家.txt'
with open(fileName, "a+") as f:
for v in mingyan:
title = v.xpath('.//div[@class="title"]//text()').extract_first() #进一步提取class为title的数据
print ('title')
print (title)
f.write(title)
unitPrice = v.xpath('.//div[@class="unitPrice"]//text()').extract_first() #进一步提取class为unitPrice的单价数据
f.write('---' + unitPrice)
f.write('\n') # ‘\n’ 表示换行
f.close()
a continuación, se llevó a cabo en una / Lianjia (y similares) Contenido scrapy.cfg
scrapy crawl lianjiaSpider
Después de arrastrarse por un enlace de datos va a llegar a casa a .txt / Lianjia:
大三房，价格实惠，采光无遮挡，有钥匙，看房方便---单价73615元/平米
双南户型、房型方正、精装修税费少、近地铁---单价55125元/平米
满五年税费少，采光棒，南北通透，精装修，配套齐全---单价39766元/平米
不靠路低总价小户型，自住装修，南北直通方正三房---单价77986元/平米
花木苑双南两房诚意出售+世纪公园一路之隔+2号线800米---单价73935元/平米
锦绣苑 2室2厅 670万---单价65642元/平米
经典三房户型，小区花园景观，带稳定租约，诚意出售---单价140540元/平米
本月必走房源、同户型价位低、税费少、业主已定好新房---单价60886元/平米
三房全明 南北通透 位置佳 采光充足看房随时---单价58428元/平米
静安豪景苑二期南北通厨卫全明大两房+外地房东诚意卖---单价109049元/平米
新舒苑 3室2厅 163万---单价15786元/平米
新上高区采光好小三房 南北直通 看房随时 得房率高。---单价79434元/平米
全明户型，总价是小区内价格低一套三房---单价115964元/平米
一手动迁、地铁口 、总价低、看房有钥匙---单价44576元/平米
1号线延长路地铁口 全明南北通透两居室 业主诚意出售---单价63392元/平米
品诚苑 经典小3房，诚意出售，皮夹子房源看房随时！---单价43600元/平米
新 2号线世纪公园高区含车位、低总价、诚意出售随时看---单价79751元/平米
地铁毛坯大三房 满五唯一 钥匙房---单价39481元/平米
满五唯一+正看小区花园+双南户型+采光宽阔+看房方便---单价86888元/平米
高区，南北通透，从未住过人次新房，浦明路一线滨江---单价96144元/平米
........
........
........
Un total de probablemente alrededor de 3000, somos libres para modificar otras combinaciones de códigos de datos
