python爬虫-之前接的一家长租公寓的项目

长租公寓项目

项目描述:

公司想通过目前中国长租公寓的信息,比如:长租公寓品牌(比如自如、蛋壳、优逸客家等多个品牌)、房源位置(这里具体到省、市、区、小区名),房源个数,房屋设备、位置优势、租房价格等,去分析不同公寓品牌在不同城市的服务情况。从而去决策租房的消费情况和各个品牌的一个个走势。最终以热力图、折线图等呈现出来。

项目流程:

1.从网上抓取各个品牌的f房源信息
2.进行数据预处理、清洗、去重等
3.数据仓库,进行分析
4.数据挖掘、算法分析
5.可视化展示

项目实现:

1.采用python3进行爬取数据
2.spark进行数据预处理
3.hive作为数据仓库
4.算法模型,将最终数据落到MySQL中
5.可视化展示

猜你喜欢

转载自blog.csdn.net/qq_33202508/article/details/87912802