xpath爬取58的二手房信息

首先先介绍一下基础知识。
数据解析之xpath：最常用也是最便捷高效的一种解析方式，通用性强。
-xpath解析原理：
- 1.实例化一个etree的对象,且需要将被解析的页面源码数据加载到该对象中
- 2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获
-环境的安装：
- pip install lxml
-如何实例化一个etree对象:from lxml import etree
- 1.将本地的HTML文档中的源码数据加载到etree对象中：
etree.parse(filepath文档路径)
- 2.可以将从互联网上获取的源码数据加载到该对象中
etree.HTML(‘page_text’)
- xpath(‘xpath表达式’)重点
- /：表示的是从根节点开始定位，。表示的是一个层级
- //：表示多个层级,可以从任意位置开始定位
- xpath属性定位
-//div[@class=“song”] 格式tag[@attrName=“attrVlaue”]
-索引定位，索引是从1开始 ‘//div[@class=“song”]/p[3]’
-取文本：
-/text()获取的标签中直系的文本内容
-//text()获取的标签中非直系的文本内容（所有的文本内容）
-取属性：
-@attrName 例如 img/@sre
-解决中文乱码的俩种方法：
-img_name.encode(‘iso-8859-1’).decode(‘gbk’)
-response.encoding=‘utf-8’
下面上代码喽。。


```python
import  requests
from lxml import etree
if __name__=='__main__':
    #获取数据
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36'
    }
    url = 'https://bj.58.com/ershoufang/?PGTID=0d100000-0000-16e7-6cab-37d675ef4780&ClickID=2'
    page_text = requests.get(url=url,headers=headers).text
    #实例化对象
    tree = etree.HTML(page_text)
    #获取标签数据，标签定位
    li_list = tree.xpath('//ul[@class="house-list-wrap"]/li')
    fp = open('./58.text','w',encoding='utf-8')
    for li in li_list:
        title = li.xpath('./div[2]/h2/a/text()')[0]
        price = li.xpath('./div[3]/p[@class="sum"]/b/text()')[0]
        print(title)
        print(price+'万')
        fp.write(title)
        fp.write(price + '\n')

买房朋友了解一下哈哈！！

xpath爬取58的二手房信息

猜你喜欢