python爬虫58同城租房

使用scrapy框架爬取58上面租房信息
源码如下：

-- coding: utf-8 --

import scrapy
from zufang.items import ZufangItem

class SpiderSpider(scrapy.Spider):
name = ‘spider’
allowed_domains = [‘58.com’]
start_urls = [‘http://hz.58.com/chuzu/‘]

def parse(self, response):
    #获取页面房子列表
    lis = response.xpath("//ul[@class='listUl']/li")[:-2]
    # print(lis)
    # 获取单个房子信息
    for li in lis:
        if response.xpath("//ul[@class='listUl']/li/@class")=='apartments-pkg apartments':
            continue
        item=ZufangItem()
        item['price']=li.xpath('./div[3]/div[2]/b/text()').extract_first()+"元/每月"


        item['size']=''.join([i.replace(' ','') for i in li.xpath('./div[2]/p[1]/text()').extract()]).replace('\xa0','')

        item['img_url']="http:"+li.xpath('./div[1]/a/img/@src').extract_first()
        item['addr']=''.join([i.replace(' ','') for i in li.xpath('./div[2]/p[2]/a[2]/text()').extract()]).replace('\xa0','')
        yield item

    next_page = response.xpath('//*[@id="bottom_ad_li"]/div[2]/a/span/text()').extract_first()
    if next_page !=None:
        next_url = response.xpath("//*[@id='bottom_ad_li']/div[2]/a[last()]/@href").extract_first()
        # next_url = response.xpath("//*[@id='bottom_ad_li']/div[2]/a/@href").extract_first()
        yield scrapy.Request(next_url, callback=self.parse)

注意点：
获取价格：./div[3]/div[2]/b/text()
获取 元/每月 ./div[3]/div[2]/text()
两者无法拼接
解决办法：item[‘price’]=li.xpath(‘./div[3]/div[2]/b/text()’).extract_first()+”元/每月”
房间样式大小 {‘price’: ‘1200元/每月’, ‘size’: ‘主卧(3室) \xa0\xa0\xa0\xa025㎡’}
去掉 \xa0\xa0\xa0\xa0
item[‘size’]=”.join([i.strip() for i in li.xpath(‘./div[2]/p[1]/text()’).extract()]).replace(‘\xa0’,”)
去除中间空格
item[‘size’]=”.join([i.replace(’ ‘,”) for i in li.xpath(‘./div[2]/p[1]/text()’).extract()]).replace(‘\xa0’,”)
1.strip()：把头和尾的空格去掉
2.lstrip()：把左边的空格去掉
3.rstrip()：把右边的空格去掉
4.replace(‘c1’,’c2’)：把字符串里的c1替换成c2。故可以用replace(’ ‘,”)来去掉字符串里的所有空格
拼接完整url
item[‘img_url’]=”http:”+li.xpath(‘./div[1]/a/img/@src’).extract_first()
最后两个是广告解决办法如下
lis = response.xpath(“//ul[@class=’listUl’]/li”)[:-2]
去除中间广告
if response.xpath(“//ul[@class=’listUl’]/li/@class”)==’apartments-pkg apartments’:
continue