Pandas库分析处理链家出租房(实验)

载入数据

import pandas as pd lj_data = pd.read_csv('./LJdata.csv') lj_data.head(2)

规范一点，用英文的column name，这样免去了后续的一些问题(主要是编码问题)

lj_data.columns Index(['区域', '地址', '标题', '户型', '面积', '价格', '楼层', '建造时间', '朝向', '更新时间', '看房人数', '备注', '链接地址'], dtype='object') lj_data.columns = ['district', 'address', 'title', 'house_type', 'area', 'price', 'floor', 'build_time', 'direction', 'update_time', 'view_num', 'extra_info', 'link']

查看数据的形状和信息

lj_data.info() <class 'pandas.core.frame.DataFrame'> RangeIndex: 2760 entries, 0 to 2759 Data columns (total 13 columns): district 2760 non-null object address 2760 non-null object title 2760 non-null object house_type 2760 non-null object area 2760 non-null object price 2760 non-null int64 floor 2760 non-null object build_time 2758 non-null object ### direction 2760 non-null object update_time 2760 non-null object view_num 2760 non-null int64 extra_info 2760 non-null object link 2760 non-null object dtypes: int64(2), object(11) memory usage: 280.4+ KB lj_data.describe() price view_num count 2760.000000 2760.000000 mean 7570.800725 13.448913 std 6316.204986 12.746202 min 1300.000000 0.000000 25% 4500.000000 4.000000 50% 6000.000000 10.000000 75% 8500.000000 19.000000 max 210000.000000 122.000000 lj_data.shape (2760, 13)

找到最近更新信息的20套房子

lj_data.sort_values('update_time',ascending=False).head(20) #sort_values按参数列排序 #pd.to_datetime(lj_data['update_time'])

平均看房人数

int(sum(lj_data['view_num'])/len(lj_data['view_num'])) 13

房龄最小的20套房子的平均看房人数、平均面积…

import re import numpy as np def getnum(pattern,string): getnum=re.findall(pattern,string) if getnum: return getnum[0] return '' lj_data['hbt']=lj_data.fillna('不知道')['build_time'].apply(lambda x:getnum('\d+',x)) lj_data['ha']=lj_data['area'].apply(lambda x:getnum('\d+',x)) newest20=lj_data.sort_values('hbt',ascending=False).head(20) newest20['ha']=newest20['ha'].astype('int') 'newest20,mean visitor %s,mean size %s' % (sum(newest20['view_num'])/20,np.mean(newest20['ha'].values)) 'newest20,mean visitor 10.65,mean size 98.75'

房子价格的分布(平均，方差，中位数)

lj_data['price'].agg(['mean','std','median']) mean 7570.800725 std 6316.204986 median 6000.000000 Name: price, dtype: float64

最受欢迎的朝向(平均看房人数)

gbd=lj_data.groupby('direction') for k,v in gbd: kd=gbd.get_group(k) #获得k方向的数据项 mp=np.mean(kd['view_num']) print(k,mp) 东 13.7283950617 东 东北 34.0 东 东南 8.0 东 东南 南 21.0 东 北 19.4545454545 东 南 13.0285714286 东 南 北 12.9523809524 东 南 西 19.0 东 南 西 北 10.3333333333 东 西 14.0288461538 东 西 北 12.0 东 西北 16.3333333333 东 西南 12.0 东北 15.393442623 东南 14.1937172775 东南 东北 3.0 东南 北 10.0 东南 南 10.8 东南 西 3.66666666667 东南 西北 11.6666666667 东南 西南 14.6666666667 北 16.3693693694 南 13.6678899083 南 北 11.6798810704 南 西 16.4615384615 南 西 北 15.4444444444 南 西北 6.88888888889 南 西南 6.33333333333 西 13.5870967742 西 北 28.25 西北 19.4782608696 西南 16.4394904459 西南 东北 12.0 西南 北 7.63636363636 西南 西 25.0

房型数量分布

lj_data['house_type'].value_counts() #value_counts计算某一列各组出现频次 2室1厅 1284 1室1厅 457 3室1厅 371 3室2厅 207 1室0厅 157 2室2厅 142 4室2厅 42 4室1厅 21 1室2厅 17 2室0厅 9 1房间1卫 8 5室2厅 8 2房间1卫 6 5室3厅 5 5室1厅 4 3房间2卫 4 4室3厅 3 3室0厅 3 3房间1卫 3 3室3厅 3 6室2厅 2 2房间2卫 2 5房间2卫 1 6室3厅 1 Name: house_type, dtype: int64

最受欢迎的房型

lj2=lj_data[['house_type','view_num']] lj2.groupby('house_type').sum() view_num house_type 1室0厅 2242 1室1厅 7037 1室2厅 290 1房间1卫 74 2室0厅 142 2室1厅 17589 2室2厅 1789 2房间1卫 119 2房间2卫 32 3室0厅 32 3室1厅 4467 3室2厅 2458 3室3厅 12 3房间1卫 51 3房间2卫 57 4室1厅 156 4室2厅 398 4室3厅 30 5室1厅 21 5室2厅 43 5室3厅 32 5房间2卫 3 6室2厅 24 6室3厅 21

房子的平均租房价格(按平米算)

np.mean(lj_data['price']/lj_data['ha'].astype('float')) 87.722684299004541

最受关注的小区

ljadd=lj_data[['address','view_num']] ljaddsum=ljadd.groupby('address').sum() #各小区被访问总数 ljaddsort=ljaddsum.sort_values('view_num',ascending=False) #根据view_num列排序 ljaddsort.iloc[0,:] view_num 246 Name: 清芷园, dtype: int64

出租房源最多的小区

lj_data['address'].value_counts().head(1) 远洋山水 19 Name: address, dtype: int64

集中供暖和非集中供暖的有多少家，平均价格是多少

def count(col): i=0 for x in col: if '集中供暖' in x: i=i+1 return i count(lj_data['extra_info']) 2284 lj_data['ctlht']=lj_data['extra_info'].apply(lambda x:'集中供暖' in x) sum(lj_data['ctlht']==True) 2284

不同房型的平均/最大/最小面积

dha=pd.DataFrame({'house_type':lj_data['house_type'],'house_area':lj_data['ha'].astype('float')}) dha.groupby('house_type').agg(['mean','max','min']) house_area mean max min house_type 1室0厅 48.484076 140.0 19.0 1室1厅 54.669584 107.0 28.0 1室2厅 72.411765 109.0 45.0 1房间1卫 42.875000 48.0 35.0 2室0厅 49.888889 55.0 42.0 2室1厅 78.725857 194.0 26.0 2室2厅 106.028169 228.0 60.0 2房间1卫 60.166667 67.0 52.0 2房间2卫 37.000000 38.0 36.0 3室0厅 67.000000 70.0 61.0 3室1厅 114.237197 217.0 54.0 3室2厅 145.690821 255.0 79.0 3室3厅 144.000000 181.0 123.0 3房间1卫 85.333333 91.0 77.0 3房间2卫 46.750000 63.0 39.0 4室1厅 165.285714 330.0 87.0 4室2厅 196.333333 304.0 119.0 4室3厅 179.000000 237.0 150.0 5室1厅 138.250000 180.0 99.0 5室2厅 242.125000 332.0 181.0 5室3厅 191.600000 219.0 135.0 5房间2卫 158.000000 158.0 158.0 6室2厅 274.000000 316.0 232.0 6室3厅 720.000000 720.0 720.0

哪个地铁口附近的房子最多

import re def findstation(reg,string,n): fst=re.search(reg,string) if fst: return fst.group(n) return '' lj_data['fst']=lj_data['extra_info'].apply(lambda x : findstation('距离(.+线)(\\(.*?段\\))?(.+站).*',x,n=3)) #reg分组，r修饰字符串 lj_data['fst'].value_counts() 1086 达官营站 43 双井站 34 安华桥站 32 青年路站 30 十里堡站 28 阜通站 28 北苑路北站 25 望京站 24 立水桥南站 22 东湖渠站 21 苏州街站 20 东直门站 19 朝阳公园站 19 广渠门外站 19 广渠门内站 19 安立路站 17 太阳宫站 17 劲松站 17 三元桥站 17 和平里北街站 16 大望路站 16 梨园站 16 惠新西街北口站 15 潘家园站 15 车公庄西站 15 芍药居站 15 昌平站 15 西直门站 14 车道沟站 14 ... 后沙峪站 2 金台夕照站 2 泥洼站 2 回龙观东大街站 2 农大南路站 1 枣营站 1 丰台科技园站 1 西北旺站 1 北海北站 1 肖村站 1 育知路站 1 北京站站 1 灯市口站 1 高碑店站 1 东单站 1 欢乐谷景区站 1 南邵站 1 国贸站 1 南楼梓庄站 1 广阳城站 1 郭公庄站 1 大钟寺站 1 呼家楼站 1 国家图书馆站 1 木樨地站 1 虎坊桥站 1 珠市口站 1 张自忠路站 1 复兴门站 1 天通苑南站 1 Name: fst, Length: 218, dtype: int64

地铁附近的房子平均价格 比 非地铁的高多少

#lj_data.drop(['hbt'],axis=1,inplace=True) #lj_data['fst'].ix[0,['fst']] lj_data['fstbool']=lj_data['fst']=='' a=lj_data[['price','fstbool']].groupby('fstbool').mean() a.values[0]-a.values[1] array([ 2414.36401381])

地铁附近的房源离地铁平均距离

#lj_data.drop(['fstbool'],axis=1,inplace=True) import re def findstation(reg,string,n): fst=re.search(reg,string) if fst: return fst.group(n) return 0 lj_data['subdis']=lj_data['extra_info'].apply(lambda x : findstation('距离(.+线)(\\(.*?段\\))?(.+站)(.+)米.*',x,n=4)) #reg分组，r修饰字符串 lj_data['subdis'].astype('float').mean() 435.20978260869566

把持不住了，写regular expression上瘾了。。。。

最多的在租楼层

#lj_data.drop('subdis',axis=1,inplace=True) import re def findfloor(reg,string,n): ff=re.search(reg,string) if ff: return ff.group(n) return '缺失楼层信息' lj_data['sortfloor']=lj_data['floor'].apply(lambda x:findfloor('(.楼层).*',x,1)) lj_data['sortfloor'].value_counts() 中楼层 1026 高楼层 932 低楼层 798 缺失楼层信息 4 Name: sortfloor, dtype: int64

随时看房的房子比例

lj_data['csuitv']=lj_data['extra_info'].transform(lambda x:'随时看房' in x) lj_data['csuitv'].mean() 0.99855072463768113