博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Kaggle(一):房价预测
阅读量:6296 次
发布时间:2019-06-22

本文共 5840 字,大约阅读时间需要 19 分钟。

Kaggle(一) 房价预测 (随机森林、岭回归、集成学习)

 项目介绍:通过79个解释变量描述爱荷华州艾姆斯的住宅的各个方面,然后通过这些变量训练模型,

来预测房价。
  kaggle项目链接:
数据描述:
train.csv - 训练集
test.csv - 测试集

一.加载数据

#加载必要库import pandas as pdimport numpy as npimport matplotlib.pyplot as plt%matplotlib inline#读取数据集df_train=pd.read_csv('train.csv')df_test=pd.read_csv('test.csv')

二.数据清洗

把train与test两个数据集合并到一起来处理79个解释变量,等用test来进行预测时就不需再次处理了。

df_train.shape,df_test.shapey_train=df_train.pop('SalePrice')  #删除并返回数据集中SalePrice标签列all_df=pd.concat((df_train,df_test),axis=0) #要处理的整体数据集total=all_df.isnull().sum().sort_values(ascending=False)  #每列缺失数量percent=(all_df.isnull().sum()/len(all_df)).sort_values(ascending=False) #每列缺失率miss_data=pd.concat([total,percent],axis=1,keys=['total','percent'])miss_data #显示每个列及其对应的缺失率

1.除去缺失率达40%以上的 (不除去的话,补齐数据误差偏大)

all_df=all_df.drop(miss_data[miss_data['percent']>0.4].index,axis=1) #去除了percent>0.4的列

2. 由于有些房子没有车库,造成车库相关的属性缺失,对于这种情况,我们有missing填充,同时对于车库建造时间的缺失,我们用1900填充,表示车库是年久的,使其变得不重要。

garage_obj=['GarageType','GarageFinish','GarageQual','GarageCond'] #列出车库这一类for garage in garage_obj:   all_df[garage].fillna('missing',inplace=True)#把1900标签填入空缺处表示年代久远all_df['GarageYrBlt'].fillna(1900.,inplace=True)

3.装修类中,装修类型为空的表示没装修过,用missing表示;装修面积为0;

all_df['MasVnrType'].fillna('missing',inplace=True)  #用missing标签表示没装修过all_df['MasVnrArea'].fillna(0,inplace=True)   #用0表示没装修过的装修面积#再次查看数据缺失率,最高为0.16,是LotFrontage列(all_df.isnull().sum()/len(all_df)).sort_values(ascending=False) #从图中看出LotFrontage分布较均匀,可以用均值补齐缺失值plt.figure(figsize=(16,6))       plt.plot(all_df['Id'],all_df['LotFrontage'])

图一:

1565545-20190303204533987-1544010936.png

#均值补齐LotFrontage列all_df['LotFrontage'].fillna(all_df['LotFrontage'].mean(),inplace=True)

4.离散值进行one-hot处理

#还有部分少量的缺失值,不是很重要,可以用one-hotd转变离散值,然后均值补齐all_dummies_df=pd.get_dummies(all_df)mean_col=all_dummies_df.mean()all_dummies_df.fillna(mean_col,inplace=True)

三.数值转换

找出类型为数值的所有列,进行标准化处理

#数据集中数值类型为int和floatall_dummies_df['Id']=all_dummies_df['Id'].astype(str)  #先排除ID列,不对Id列进行处理a=all_dummies_df.columns[all_dummies_df.dtypes=='int64'] #数值为int型b=all_dummies_df.columns[all_dummies_df.dtypes=='float64'] #数值为float型#进行标准化处理,符合0-1分布a_mean=all_dummies_df.loc[:,a].mean()a_std=all_dummies_df.loc[:,a].std()all_dummies_df.loc[:,a]=(all_dummies_df.loc[:,a]-a_mean)/a_std #使数值型为int的所有列标准化b_mean=all_dummies_df.loc[:,b].mean()b_std=all_dummies_df.loc[:,b].std()all_dummies_df.loc[:,b]=(all_dummies_df.loc[:,b]-b_mean)/b_std #使数值型为float的所有列标准化
最终处理完的数据集:

其中包含自己把train数据集中按0.8:0.2分为train_train和train_test俩数据集,来比较哪个模型能更好预测数据,然后再用来预测最终的test数据集。

#处理后的训练集(不含Saleprice)df_train1=all_dummies_df.iloc[:1460,:]    df_train_train=df_train1.iloc[0:int(0.8*len(df_train1)),:]  #train中的训练集(不含Saleprice)df_train_test=df_train1.iloc[int(0.8*len(df_train1)):,:]    #train中的测试集(不含Saleprice)df_train_train_y=y_train.iloc[0:int(0.8*len(y_train))]     #train中训练集的targetdf_train_test_y=y_train.iloc[int(0.8*len(df_train1)):]     #train中测试集的target#处理后的测试集df_test1=all_dummies_df.iloc[1460:,:]

四.建模

分析,显然是回归问题,本项目中解决回归问题的方法:岭回归、随机森林、集成学习

1.岭回归

这里要用的特征较多,适合岭回归进行建模,把所有特征放进去就行,无需进行特征选取

#加载相关库from sklearn.linear_model import Ridgefrom sklearn.model_selection import cross_val_score#对岭回归的正则化度进行调参,用到k折交叉验证alphas=np.logspace(-2,2,50)test_scores1=[]test_scores2=[]for alpha in alphas:    clf=Ridge(alpha)    scores1=np.sqrt(cross_val_score(clf,df_train_train,df_train_train_y,cv=5))    scores2=np.sqrt(cross_val_score(clf,df_train_train,df_train_train_y,cv=10))    test_scores1.append(1-np.mean(scores1))    test_scores2.append(1-np.mean(scores2))#从图中找出当正则化参数alpha为多少时,误差最小%matplotlib inlineplt.plot(alphas,test_scores1,color='red')   #交叉验证k为5时,误差最小plt.plot(alphas,test_scores2,color='green')

图二

1565545-20190303204558987-829566685.png

当alpha在0~10之间时,整体结构风险最小。(猜测可能在alpha=5时最小

训练好的岭回归对train_test进行预测,用误差平方和来衡量模型好坏

ridge=Ridge(alpha=5)ridge.fit(df_train_train,df_train_train_y)#用均方误差来判断模型好坏,结果越小越好(((df_train_test_y-ridge.predict(df_train_test))**2).sum())/len(df_train_test_y)

Out[ ]:

1983899445.438339

2.随机森林

随机森林也可预测回归,对处理高维度效果较好,不要特征选择

#调参,对随机森林的最大特征选择进行调试  ,也需要用到交叉验证from sklearn.ensemble import RandomForestRegressormax_features=[.1,.2,.3,.4,.5,.6,.7,.8,.9]test_score=[]for max_feature in max_features:    clf=RandomForestRegressor(max_features=max_feature,n_estimators=100)    score=np.sqrt(cross_val_score(clf,df_train_train,df_train_train_y,cv=5))    test_score.append(1-np.mean(score))plt.plot(max_features,test_score) #得出误差得分图

图三

1565545-20190303204617419-83224984.png

通过图可知,当max_features最大特征数为0.5时,误差最小,所以代入max_feature=0.5

训练好的随机森林对train_test进行预测,用误差平方和来衡量模型好坏

rf=RandomForestRegressor(max_features=0.5,n_estimators=100)rf.fit(df_train_train,df_train_train_y)#用均方误差来判断模型好坏,结果越小越好(((df_train_test_y-rf.predict(df_train_test))**2).sum())/len(df_train_test_y)

Out[ ]:

1108361750.5652797

集成学习

用Bagging(bootstrap aggregatin)集成框架来对岭回归进行融合计算

调参1:寻找合适子模型数量

#加载相关库from sklearn.ensemble import BaggingRegressor#调参,寻找合适子模型数量ridge=Ridge(5)params=[10,20,30,40,50,60,70,80,90,100]test_scores=[]for param in params:    clf=BaggingRegressor(n_estimators=param,base_estimator=ridge)    score=np.sqrt(cross_val_score(clf,df_train_train,df_train_train_y,cv=5))    test_scores.append(1-np.mean(score))plt.plot(params,test_scores)

图四

1565545-20190303204632260-2080113581.png

当训练的模型个数为70时,数据误差最小

调参2:寻找合适最大特征数

max_features=[.1,.2,.3,.4,.5,.6,.7,.8,.9]test_scores=[]for max_feature in max_features:    clf=BaggingRegressor(n_estimators=70,base_estimator=ridge,max_features=max_feature)    score=np.sqrt(cross_val_score(clf,df_train_train,df_train_train_y,cv=5))    test_scores.append(1-np.mean(score))plt.plot(max_features,test_scores)

图五

1565545-20190303204646833-384346529.png

最大特征数为0.6时,误差最小

调参结束,进行模型检验

Bagging=BaggingRegressor(n_estimators=70,base_estimator=ridge,max_features=0.6)Bagging.fit(df_train_train,df_train_train_y)#用均方误差来判断模型好坏,结果越小越好(((df_train_test_y-Bagging.predict(df_train_test))**2).sum())/len(df_train_test_y)

Out[ ]:

1960180964.6378567

结果:

分析结果:三个结果,取均方误差最小的,即 随机森林 算法

提交后,误差为0.1485

四千多中排名50%。还有很多可以优化的地方,等过段时间继续优化~
更详细代码:github

转载于:https://www.cnblogs.com/xubin97/p/10467455.html

你可能感兴趣的文章
Flask框架从入门到精通之模型数据库配置(十一)
查看>>
10年重新出发
查看>>
2019年-年终总结
查看>>
聊聊elasticsearch的RoutingService
查看>>
让人抓头的Java并发(一) 轻松认识多线程
查看>>
从源码剖析useState的执行过程
查看>>
地包天如何矫正?
查看>>
中间件
查看>>
Android SharedPreferences
查看>>
css面试题
查看>>
Vue组建通信
查看>>
用CSS画一个带阴影的三角形
查看>>
前端Vue:函数式组件
查看>>
程鑫峰:1.26特朗.普力挺美元力挽狂澜,伦敦金行情分析
查看>>
safari下video标签无法播放视频的问题
查看>>
01 iOS中UISearchBar 如何更改背景颜色,如何去掉两条黑线
查看>>
对象的继承及对象相关内容探究
查看>>
Spring: IOC容器的实现
查看>>
Serverless五大优势,成本和规模不是最重要的,这点才是
查看>>
Nginx 极简入门教程!
查看>>