哥哥问我上海的房租有多高?我用Python爬虫为他揭晓天价房租!

哥哥问我上海的房租有多高?我用Python爬虫为他揭晓天价房租!

阅读文本大概需要 7 分钟。

大家还记得你们刚来上海的时候租房的房租是多少吗?现在相比于那个时候,是不是涨了不少?上个月中介哄抢租赁房源的事件大家应该还没忘记。在上海,也是见证了房租稳步上涨的过程。很多网友感慨,以前是买不起房,现在是租房都租不起了。

今天,用 Python 爬虫给大家分析下上海的房租。我们用数据来看看上海的房租究竟有多高。

这次的租房房源数据来源于链家网,用 Python 收集数据后制作成可视化图形。

哥哥问我上海的房租有多高?我用Python爬虫为他揭晓天价房租!

效果图

本次用 Python 爬取链家网的样本数据我把它做成了柱形图。从图中看到,有些区域的房源是比较少的,像崇明、金山、上海周边这三个区域提供的房源较少。

哥哥问我上海的房租有多高?我用Python爬虫为他揭晓天价房租!

通过样本数据我提取出上海各区域的房租平均值。图中标出了最高房租和最低房租。

哥哥问我上海的房租有多高?我用Python爬虫为他揭晓天价房租!

这个房租的平均值参考性不大,因为房租的多少还和房屋面积和户型有关。我们用词云图来看看出租的房源中的主要户型情况,字体越大表示此户型占的比例越大。

哥哥问我上海的房租有多高?我用Python爬虫为他揭晓天价房租!

从户型词云图看得出来,出租的房源中最多的户型是 3 室 2 厅和 2 室 2 厅。如果和认识的朋友一起,租这种户型的房子也是一个不错的选择,这种户型的房子一般在小区,环境也不错。

所以,为了使数据更具有参考性,我把各区域房源每平米的月租平均值用 Python 计算出来画成了柱形图。图中标出了最高的每平米月租和最低的的每平米月租。最高的平均值是静安区的 160.79 元,最低的平均值是奉贤区的 29.77 元。

哥哥问我上海的房租有多高?我用Python爬虫为他揭晓天价房租!

项目环境

语言:Python 3

编辑器:Pycharm

主要思路

1、用 Python 爬虫对链家网房源信息收集。

2、把房源信息按照自己需求整理成可视化图形。

出租房信息收集

出租房信息采集的来源是链家网,打开链家网页面,用 F12 打开页面的调试功能。页面信息的抓取用 requests 库就可以轻松获取。

代码分析

先把单个页面租房的信息提取出来以字典的形式保存。我提取的信息有出租房屋的标题、户型、面积、房租、每平米房租。把这些信息以字典的形式返回。部分主要代码如下。(左右滑动查看全部代码)

哥哥问我上海的房租有多高?我用Python爬虫为他揭晓天价房租!

接下来把上面提取的信息保存在 csv 文件中,文件名称通过提取 url 中的元素作为获得,因为每个地区的出租房信息链接都是在后面加一个中文拼音,比如浦东。

哥哥问我上海的房租有多高?我用Python爬虫为他揭晓天价房租!

一行表示一组房屋信息,列信息分别对应是上面函数获取的标题、户型、面积、房租、每平方房租,我把所有信息都保存在 E 盘的 「zufang」目录下,需要事先新建好目录,保存的文件部分截图如下。

哥哥问我上海的房租有多高?我用Python爬虫为他揭晓天价房租!

哥哥问我上海的房租有多高?我用Python爬虫为他揭晓天价房租!

实现把房源信息以 csv 文件形式存储功能的代码如下。(左右滑动查看全部代码)

哥哥问我上海的房租有多高?我用Python爬虫为他揭晓天价房租!

对页面分页时我们需要判断页面有多少页,不同地区页面会显示该地区房源的数量,每个页面显示 30 个房源,所以基本情况是页面等于房源总数量除以 30,所有区域房源最大的页面是 100 页,但是有些地区房源数量除以 30 结果大于 100 页,不知道链家的多余的房源去哪里了,这里超过 100 就当 100 处理了,还有一种情况是有些地方房源比较少,不到 30 个,那么就只有一页的数据。

哥哥问我上海的房租有多高?我用Python爬虫为他揭晓天价房租!

接下来获取不同区域的所有房源信息,包括浦东区、闵行区、宝山区、普陀区、杨浦区、长宁区、松江区、嘉定区、黄埔区、静安区、闸北区、虹口区、青浦区、奉贤区、金山区、崇明区、上海周边地区、地铁租房、所有房源。为了不给链家服务器造成太大的压力而导致 IP 被封,每爬取一页时我设置了随机等待时间。

哥哥问我上海的房租有多高?我用Python爬虫为他揭晓天价房租!

数据可视化处理

接下来对获得的数据进行可视化处理,我拿对户型生成词云图举例,通过从保存的 csv 文件中获取需要列的信息并统计相同元素出现的次数,剔除无关信息后生成文章前面出现的户型词云图。

哥哥问我上海的房租有多高?我用Python爬虫为他揭晓天价房租!

猜你喜欢

转载自blog.csdn.net/qq_41841569/article/details/82867519
今日推荐