分析链家网南京市二手房信息
链家网二手房数据的采集方法参见之前的博客：数据采集（四）：用XPath爬取链家网房价数据
总共有3000条二手房信息记录。
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
house=pd.read_csv('house.csv',sep=' ')
house.head()| totalprice | xiaoqu | huxing | mianji | chaoxiang | zhuangxiu | dianti | guanzhu | daikan | fabu | |
|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 156.0 | 江岸水城 | 2室2厅 | 80.85平米 | 南 | 精装 | 有电梯 | 98人关注 | 共31次带看 | 23天以前发布 |
| 1 | 480.0 | 龙凤花园隽凤园 | 4室2厅 | 112.36平米 | 南 北 | 简装 | 无电梯 | 168人关注 | 共62次带看 | 7个月以前发布 |
| 2 | 238.0 | 凤凰西街188号 | 3室1厅 | 76.48平米 | 南 | 简装 | NaN | 29人关注 | 共21次带看 | 23天以前发布 |
| 3 | 148.0 | 安康村 | 2室1厅 | 50.36平米 | 南 北 | 简装 | 无电梯 | 11人关注 | 共27次带看 | 11天以前发布 |
| 4 | 86.0 | 万达紫金明珠 | 1室1厅 | 38.64平米 | 北 | 简装 | NaN | 98人关注 | 共34次带看 | 25天以前发布 |
发现异常记录（行）
乍一看数据都很正常，但是处理数据时发现，当“huxing”（户型）字符中包含“别墅”时，标签和对应的数据出现了错位。
bieshu=house[house.huxing.str.contains('别墅')]
bieshu.head()| totalprice | xiaoqu | huxing | mianji | chaoxiang | zhuangxiu | dianti | guanzhu | daikan | fabu | |
|---|---|---|---|---|---|---|---|---|---|---|
| 60 | 560.0 | 翠屏国际香樟苑 | 联排别墅 | 3室2厅 | 222.81平米 | 南 北 | 简装 | 20人关注 | 共23次带看 | 2个月以前发布 |
| 98 | 1280.0 | 海德卫城 | 叠拼别墅 | 5室2厅 | 239.76平米 | 南 | 毛坯 | 28人关注 | 共22次带看 | 3个月以前发布 |
| 156 | 758.0 | 爱涛漪水园临溪苑 | 联排别墅 | 5室3厅 | 259.18平米 | 南 北 | 其他 | 1人关注 | 共0次带看 | 21天以前发布 |
| 293 | 700.0 | 武夷花园 | 联排别墅 | 6室2厅 | 250.61平米 | 南 北 | 精装 | 13人关注 | 共5次带看 | 1个月以前发布 |
| 325 | 574.0 | 华侨新村紫薇苑 | 联排别墅 | 3室2厅 | 164.11平米 | 南 北 | 简装 | 27人关注 | 共15次带看 | 4个月以前发布 |
当然，字段’totalprice’,’xiaoqu’,’guanzhu’,’daikan’,’fabu’中的数据还是正常的
print '记录中共有别墅%d栋'%bieshu.shape[0]记录中共有别墅19栋
价格最高的5栋别墅
bieshu.sort_values('totalprice',ascending=False).head(5)| totalprice | xiaoqu | huxing | mianji | chaoxiang | zhuangxiu | dianti | guanzhu | daikan | fabu | |
|---|---|---|---|---|---|---|---|---|---|---|
| 98 | 1280.0 | 海德卫城 | 叠拼别墅 | 5室2厅 | 239.76平米 | 南 | 毛坯 | 28人关注 | 共22次带看 | 3个月以前发布 |
| 2927 | 1260.0 | 模范新村 | 独栋别墅 | 4室2厅 | 186.9平米 | 南 北 | 精装 | 11人关注 | 共1次带看 | 4个月以前发布 |
| 2060 | 1249.0 | 钟鼎山庄 | 叠拼别墅 | 5室2厅 | 346.71平米 | 南 | 毛坯 | 17人关注 | 共12次带看 | 3个月以前发布 |
| 472 | 850.0 | 山水风华 | 联排别墅 | 3室2厅 | 175.25平米 | 南 北 | 精装 | 10人关注 | 共1次带看 | 1个月以前发布 |
| 2636 | 830.0 | 山水华门岭秀苑 | 联排别墅 | 4室2厅 | 223.1平米 | 南 北 | 精装 | 20人关注 | 共8次带看 | 3个月以前发布 |
价格最低的5栋别墅
bieshu.sort_values('totalprice').head(5)| totalprice | xiaoqu | huxing | mianji | chaoxiang | zhuangxiu | dianti | guanzhu | daikan | fabu | |
|---|---|---|---|---|---|---|---|---|---|---|
| 2312 | 370.0 | 江南文枢苑竹削馆 | 叠拼别墅 | 5室2厅 | 211.98平米 | 南 北 | 毛坯 | 31人关注 | 共11次带看 | 2个月以前发布 |
| 2804 | 380.0 | 江南文枢苑竹削馆 | 叠拼别墅 | 4室2厅 | 214.96平米 | 南 北 | 其他 | 8人关注 | 共3次带看 | 1个月以前发布 |
| 2500 | 460.0 | 瑞景文华 | 叠拼别墅 | 4室2厅 | 184.6平米 | 南 | 其他 | 45人关注 | 共6次带看 | 4个月以前发布 |
| 1761 | 500.0 | 银城一方山 | 叠拼别墅 | 5室2厅 | 163.37平米 | 南 北 | 精装 | 0人关注 | 共0次带看 | 11天以前发布 |
| 60 | 560.0 | 翠屏国际香樟苑 | 联排别墅 | 3室2厅 | 222.81平米 | 南 北 | 简装 | 20人关注 | 共23次带看 | 2个月以前发布 |
删除异常记录（行）
del_index=bieshu.index
house.drop(del_index,inplace=True)print '现在还剩下%d条记录'%house.shape[0]现在还剩下2981条记录
房价最高的10套二手房
house.sort_values('totalprice',ascending=False).head(10)| totalprice | xiaoqu | huxing | mianji | chaoxiang | zhuangxiu | dianti | guanzhu | daikan | fabu | |
|---|---|---|---|---|---|---|---|---|---|---|
| 1338 | 1220.0 | 天正滨江花园 | 4室2厅 | 260.9平米 | 南 北 | 毛坯 | 有电梯 | 9人关注 | 共38次带看 | 9个月以前发布 |
| 1366 | 1220.0 | 天正滨江花园 | 4室2厅 | 260.9平米 | 南 北 | 毛坯 | 有电梯 | 9人关注 | 共38次带看 | 9个月以前发布 |
| 2442 | 1200.0 | 宋都美域锦园 | 5室3厅 | 183.4平米 | 南 北 | 其他 | 有电梯 | 3人关注 | 共0次带看 | 17天以前发布 |
| 1674 | 1160.0 | 星雨华府 | 4室2厅 | 238.24平米 | 南 北 | 精装 | 有电梯 | 6人关注 | 共1次带看 | 14天以前发布 |
| 2995 | 1150.0 | 锋尚国际公寓 | 4室3厅 | 279.8平米 | 南 北 | 精装 | 有电梯 | 16人关注 | 共5次带看 | 9个月以前发布 |
| 2278 | 1100.0 | 仁恒江湾城三期 | 4室2厅 | 182.14平米 | 南 北 | 其他 | NaN | 2人关注 | 共0次带看 | 刚刚发布 |
| 2056 | 1100.0 | 天正滨江花园 | 5室2厅 | 261.71平米 | 南 北 | 毛坯 | NaN | 0人关注 | 共10次带看 | 6个月以前发布 |
| 2286 | 1100.0 | 仁恒江湾城三期 | 4室2厅 | 182.14平米 | 南 北 | 其他 | NaN | 2人关注 | 共0次带看 | 刚刚发布 |
| 1799 | 1058.0 | 雅居乐花园 | 5室2厅 | 262.03平米 | 东南 | 其他 | 有电梯 | 2人关注 | 共1次带看 | 11天以前发布 |
| 2128 | 1000.0 | 仁恒江湾城一期 | 4室2厅 | 176.62平米 | 南 北 | 精装 | 有电梯 | 20人关注 | 共20次带看 | 7个月以前发布 |
房价最低的10套二手房
house.sort_values('totalprice').head(10)| totalprice | xiaoqu | huxing | mianji | chaoxiang | zhuangxiu | dianti | guanzhu | daikan | fabu | |
|---|---|---|---|---|---|---|---|---|---|---|
| 2552 | 65.0 | 都市公社 | 1室1厅 | 40.15平米 | 南 | 简装 | 无电梯 | 28人关注 | 共0次带看 | 1个月以前发布 |
| 2002 | 78.0 | 天地新城天柱座 | 1室1厅 | 35平米 | 东 | 精装 | 有电梯 | 8人关注 | 共8次带看 | 14天以前发布 |
| 1446 | 80.0 | 宁港一村 | 2室0厅 | 39.94平米 | 南 北 | 简装 | NaN | 21人关注 | 共7次带看 | 2个月以前发布 |
| 1435 | 80.0 | 宁港一村 | 2室0厅 | 39.94平米 | 南 北 | 简装 | NaN | 21人关注 | 共7次带看 | 2个月以前发布 |
| 2072 | 82.0 | 丹佛小镇 | 1室0厅 | 34.87平米 | 北 | 精装 | 有电梯 | 100人关注 | 共10次带看 | 9个月以前发布 |
| 2066 | 82.0 | 丹佛小镇 | 1室0厅 | 34.87平米 | 北 | 精装 | 有电梯 | 100人关注 | 共10次带看 | 9个月以前发布 |
| 1788 | 82.0 | 万达紫金明珠 | 1室0厅 | 30.19平米 | 东 | 精装 | 有电梯 | 183人关注 | 共18次带看 | 8个月以前发布 |
| 2964 | 83.0 | 南方花园B组团 | 1室1厅 | 27.84平米 | 东 西 | 其他 | NaN | 6人关注 | 共1次带看 | 9天以前发布 |
| 2333 | 83.0 | 托乐嘉单身公寓 | 1室0厅 | 34.06平米 | 北 | 其他 | NaN | 18人关注 | 共27次带看 | 3个月以前发布 |
| 4 | 86.0 | 万达紫金明珠 | 1室1厅 | 38.64平米 | 北 | 简装 | NaN | 98人关注 | 共34次带看 | 25天以前发布 |
二手房源最多的10个小区
house['xiaoqu'].value_counts().head(10)江岸水城 24
天润城第十街区 22
丹佛小镇 18
东郊小镇第四街区 17
威尼斯水城第七街区 16
武夷绿洲品茗苑 16
良城美景家园 16
南京恒大绿洲 15
东渡国际青年城 14
水月秦淮 14
Name: xiaoqu, dtype: int64
出现最多的5种户型
house['huxing'].value_counts().head(5) 3室2厅 813
2室1厅 713
2室2厅 616
3室1厅 370
4室2厅 176
Name: huxing, dtype: int64
变量转化
“面积”和“关注人数”字段具有数值含义，将其从字符串类型转换为数值类型
house['mianji']=house['mianji'].str[1:-7].astype(float)house['guanzhu']=house['guanzhu'].str[:-10].astype(int)面积最小的二手房
house.sort_values('mianji').iloc[0,:]totalprice 83
xiaoqu 南方花园B组团
huxing 1室1厅
mianji 27.84
chaoxiang 东 西
zhuangxiu 其他
dianti NaN
guanzhu 6
daikan 共1次带看
fabu 9天以前发布
Name: 2964, dtype: object
面积最大的二手房
house.sort_values('mianji',ascending=False).iloc[0,:]totalprice 980
xiaoqu 万科金域蓝湾
huxing 5室3厅
mianji 323.97
chaoxiang 南 北
zhuangxiu 毛坯
dianti 无电梯
guanzhu 5
daikan 共1次带看
fabu 13天以前发布
Name: 1248, dtype: object
关注人数最多的10套二手房
house.sort_values('guanzhu',ascending=False).head(10)| totalprice | xiaoqu | huxing | mianji | chaoxiang | zhuangxiu | dianti | guanzhu | daikan | fabu | |
|---|---|---|---|---|---|---|---|---|---|---|
| 2359 | 180.0 | 凤凰西街223号 | 2室2厅 | 67.78 | 南 北 | 精装 | 无电梯 | 698 | 共80次带看 | 一年前发布 |
| 51 | 90.0 | 金陵村 | 1室1厅 | 42.49 | 南 | 精装 | 无电梯 | 505 | 共41次带看 | 3个月以前发布 |
| 2475 | 165.0 | 水西门大街153号 | 2室2厅 | 70.25 | 南 | 精装 | 无电梯 | 366 | 共30次带看 | 6个月以前发布 |
| 24 | 420.0 | 江南名府 | 4室2厅 | 145.07 | 南 北 | 精装 | 无电梯 | 355 | 共76次带看 | 4个月以前发布 |
| 2193 | 112.0 | 水关桥 | 2室2厅 | 45.69 | 南 北 | 其他 | 无电梯 | 347 | 共79次带看 | 4个月以前发布 |
| 2184 | 112.0 | 水关桥 | 2室2厅 | 45.69 | 南 北 | 其他 | 无电梯 | 347 | 共79次带看 | 4个月以前发布 |
| 2187 | 180.0 | 南方花园瑞阳居 | 3室2厅 | 61.40 | 东 | 简装 | 有电梯 | 326 | 共56次带看 | 9个月以前发布 |
| 2201 | 180.0 | 南方花园瑞阳居 | 3室2厅 | 61.40 | 东 | 简装 | 有电梯 | 326 | 共56次带看 | 9个月以前发布 |
| 652 | 258.0 | 百家湖国际花园 | 3室2厅 | 104.54 | 西北 | 精装 | 有电梯 | 325 | 共157次带看 | 5个月以前发布 |
| 1578 | 260.0 | 翠屏湾花园城 | 3室2厅 | 116.01 | 南 北 | 精装 | 无电梯 | 306 | 共141次带看 | 11个月以前发布 |
增加“每平米房价”字段
house['price']=house['totalprice']/house['mianji']二手房平均面积
print '南京市二手房平均面积为%f平方米'%house['mianji'].mean()南京市二手房平均面积为93.175881平方米
二手房平均总价
print '南京市二手房平均总价为%f万元'%house['totalprice'].mean()南京市二手房平均总价为283.182321万元
二手房平均价格
print '南京市二手房平均价格为%f万元每平米'%house['price'].mean()南京市二手房平均价格为3.046645万元每平米
按照面积分组
%matplotlib inline
house.mianji.hist(bins=35)
plt.title("Distribution of area of house")
plt.ylabel('count of house')
plt.xlabel('area')#labels = ['1-50', '51-100', '101-150', '151-200', '201-250', '251-300','301-350']
# 面积分组的labels
bins = range(0, 351, 10) # [0, 50, 100, 150, 200, 250, 300, 350]
# 告诉我们bin是哪些
house['mianji_group'] = pd.cut(house.mianji, bins, right=False)
# 按照bin把数据cut下来，并附上labels，做成一个新的column，保存下来。最普遍的二手房面积
house['mianji_group'].value_counts().head(5)[80, 90) 395
[90, 100) 388
[60, 70) 380
[70, 80) 338
[50, 60) 279
Name: mianji_group, dtype: int64
可见最普遍的二手房面积在50-100平方米之间
print '占比是%f%%'%(100.0*house['mianji_group'].value_counts().head(5).sum()/len(house))占比是59.711506%
不同小区的房价差异
取出现最多的50个社区
xiaoqu_50=house.groupby('xiaoqu').size().sort_values(ascending=False)[:50]house_in50xiaoqu=house[house['xiaoqu'].isin(list(xiaoqu_50.index))]house_in50xiaoqu.groupby('xiaoqu').mean()['totalprice'].sort_values().head(10)xiaoqu
天泰青城苑 131.666667
营苑新寓 157.818182
东郊小镇第四街区 158.941176
营苑西村 163.375000
王府园小区 183.700000
江岸水城 190.037500
钟山山庄 191.400000
天润城第十四街区 192.809091
天润城第五至七街区 195.454545
丹佛小镇 199.611111
Name: totalprice, dtype: float64
按每平米均价排序：
house_in50xiaoqu.groupby('xiaoqu').mean()['price'].sort_values().head(10)xiaoqu
华汇康城 2.011065
天润城第五至七街区 2.046685
江岸水城 2.047492
明发滨江新城三期 2.099873
明发滨江新城一期 2.155085
威尼斯水城第七街区 2.181221
天润城第十街区 2.257201
翠屏湾花园城 2.265674
天润城第十四街区 2.338558
天润城第十二街区 2.346086
Name: price, dtype: float64
不同小区各户型的数量
house_in50xiaoqu_huxingshu=house_in50xiaoqu.groupby('xiaoqu')['huxing'].value_counts()
house_in50xiaoqu_huxingshu.head(10)xiaoqu huxing
万达紫金明珠 2室2厅 5
3室2厅 5
1室0厅 1
1室1厅 1
东方龙湖湾 2室1厅 3
2室2厅 3
3室2厅 2
东渡国际青年城 2室1厅 5
2室2厅 4
3室2厅 3
Name: huxing, dtype: int64
house_in50xiaoqu_huxingshu=house_in50xiaoqu_huxingshu.unstack(fill_value=0)
house_in50xiaoqu_huxingshu.head()| huxing | 1室0厅 | 1室1厅 | 2室1厅 | 2室2厅 | 3室1厅 | 3室2厅 | 4室1厅 | 4室2厅 | 4室3厅 | 5室1厅 | 5室2厅 | 5室3厅 | 6室2厅 | 6室3厅 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| xiaoqu | ||||||||||||||
| 万达紫金明珠 | 1 | 1 | 0 | 5 | 0 | 5 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 东方龙湖湾 | 0 | 0 | 3 | 3 | 0 | 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 东渡国际青年城 | 0 | 0 | 5 | 4 | 2 | 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 东郊小镇第四街区 | 0 | 0 | 7 | 3 | 0 | 5 | 1 | 0 | 0 | 0 | 0 | 0 | 1 | 0 |
| 丹佛小镇 | 3 | 0 | 0 | 7 | 1 | 6 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 |
不同小区最多的户型
house_in50xiaoqu_huxing=house_in50xiaoqu_huxingshu.apply(lambda x:x[x==x.max()],axis=1)
house_in50xiaoqu_huxing.head()| 1室0厅 | 2室1厅 | 2室2厅 | 3室1厅 | 3室2厅 | 4室2厅 | |
|---|---|---|---|---|---|---|
| xiaoqu | ||||||
| 万达紫金明珠 | NaN | NaN | 5.0 | NaN | 5.0 | NaN |
| 东方龙湖湾 | NaN | 3.0 | 3.0 | NaN | NaN | NaN |
| 东渡国际青年城 | NaN | 5.0 | NaN | NaN | NaN | NaN |
| 东郊小镇第四街区 | NaN | 7.0 | NaN | NaN | NaN | NaN |
| 丹佛小镇 | NaN | NaN | 7.0 | NaN | NaN | NaN |
house_in50xiaoqu_huxing=house_in50xiaoqu_huxing.fillna(0)
house_in50xiaoqu_huxing.shape
for i in range(house_in50xiaoqu_huxing.shape[0]):
for j in range(house_in50xiaoqu_huxing.shape[1]):
if house_in50xiaoqu_huxing.iloc[i,j]!=0:
print '%s:%s'%(house_in50xiaoqu_huxing.index[i],house_in50xiaoqu_huxing.columns[j])万达紫金明珠 : 2室2厅
万达紫金明珠 : 3室2厅
东方龙湖湾 : 2室1厅
东方龙湖湾 : 2室2厅
东渡国际青年城 : 2室1厅
东郊小镇第四街区 : 2室1厅
丹佛小镇 : 2室2厅
亚东国际公寓 : 3室2厅
亲水湾花园 : 2室2厅
凤凰庄 : 2室1厅
凤凰花园城静幽园 : 3室2厅
华保新寓 : 2室1厅
华汇康城 : 2室2厅
南京恒大绿洲 : 4室2厅
名嘉佳园小区 : 3室2厅
和燕花苑 : 3室1厅
墨香山庄 : 3室2厅
天元吉第城 : 2室2厅
天元吉第城 : 3室2厅
天悦花园 : 2室2厅
天悦花园 : 3室2厅
天泰青城苑 : 1室0厅
天润城第五至七街区 : 2室2厅
天润城第十一街区 : 3室2厅
天润城第十二街区 : 2室2厅
天润城第十二街区 : 3室2厅
天润城第十四街区 : 3室2厅
天润城第十街区 : 2室2厅
威尼斯水城第七街区 : 2室2厅
富丽山庄 : 2室2厅
小火瓦巷 : 2室1厅
市政天元城 : 2室2厅
御水湾花园 : 2室2厅
时光澔韵 : 3室2厅
明发滨江新城一期 : 3室2厅
明发滨江新城三期 : 4室2厅
武夷绿洲品茗苑 : 3室2厅
武夷绿洲观竹苑 : 2室2厅
水月秦淮 : 2室2厅
水月秦淮 : 3室2厅
江岸水城 : 2室2厅
王府园小区 : 2室1厅
白鹭花园凤栖苑 : 3室1厅
百家湖国际花园 : 3室2厅
百家湖西花园伦敦城 : 2室1厅
美达浅草明苑 : 2室2厅
翠屏东南 : 3室2厅
翠屏湾花园城 : 3室2厅
良城美景家园 : 3室2厅
莫愁花园牡丹里 : 2室1厅
莫愁花园牡丹里 : 3室1厅
营苑新寓 : 2室1厅
营苑西村 : 2室1厅
诚品城 : 3室2厅
金王府 : 3室2厅
钟山山庄 : 2室1厅
阳光聚宝山庄 : 2室2厅
对不同户型的关注度差异
house.groupby('huxing').sum()['guanzhu'].sort_values(ascending=False)huxing
3室2厅 21734
2室1厅 17037
2室2厅 15766
3室1厅 8619
4室2厅 3955
1室1厅 3239
5室2厅 1033
1室0厅 789
5室3厅 423
4室1厅 352
4室3厅 345
2室0厅 212
6室3厅 192
6室2厅 188
3室3厅 141
5室1厅 105
3室0厅 87
1室2厅 73
6室4厅 17
2室3厅 4
5室4厅 2
Name: guanzhu, dtype: int64
对不同总价的关注度差异
首先将房价分组
print house['totalprice'].min()
print house['totalprice'].max()65.0
1220.0
#labels = ['1-50', '51-100', '101-150', '151-200', '201-250', '251-300','301-350']
# 面积分组的labels
bins = range(50, 1251, 50) # [0, 50, 100, 150, 200, 250, 300, 350]
# 告诉我们bin是哪些
house['totalprice_group'] = pd.cut(house.totalprice, bins, right=False)
# 按照bin把数据cut下来，并附上labels，做成一个新的column，保存下来。totalprice_guanzhu=house.groupby('totalprice_group').sum()['guanzhu'].sort_values(ascending=False)
totalprice_guanzhu.head()totalprice_group
[150, 200) 18708
[200, 250) 13190
[250, 300) 11445
[100, 150) 7706
[300, 350) 7062
Name: guanzhu, dtype: int64
%matplotlib inline
house.totalprice.hist(bins=len(totalprice_guanzhu))
print len(totalprice_guanzhu)24
