西安房价在下个月内什么地方最值得买?——中篇
接“西安房价在下个月内什么地方最值得买?——上篇”。上回我们说到选择对价格影响最大的特征。只说了房源的数据,这回我们接着说楼盘的数据。
第三步:选择对价格影响最大的特征
3.2 楼盘的处理
我们像上节一样先分析数据,然后用一些特殊的方法去选择特征。
3.2.1 均价的总体情况
sns.set(color_codes=True)
sns.distplot(loupan['average'], fit=stats.t);
fig = plt.figure()
res = stats.probplot(loupan['average'], sparams=(10,0),dist=stats.t,plot=plt);
我们还是观察distplot和proplot生成的图像:
我们可以看出这个均价几乎完美符合t分布。但是很显然它线性拟合地不好:
这里算出的偏度是:2.31543220483。说明数据右偏,且不是很符合正态分布了(绝对值超过2,就不是正态分布了)。这也侧面证明了我们上面调参调出来的t分布的正确性。
峰度是:9.51434946559。说明我们的分布比正态分布要陡峭。这一点从图中也能看出来。9.5左右不是很大,所以我们的数据相对集中,取得极端值的概率小。
在实际的问题中,数据一般都不会是线性的,非线性的居多,所以在后面我们建立模型来预测房价时,要建立非线性的模型。
3.3 特征的选择
3.1节我们把影响房源总价的特征选出来了。现在我们不用画图,用一些特征选择的方法来选择影响楼盘均价的特征。因为一共有10几个特征,画图虽然直观但是速度不快。
一般提取特征有三种方法:
- 过滤法(Filter):过滤法可以分为方差过滤,相关系数过滤,卡方检验,信息增益等。本质就是找到一种能度量特征的重要性的方法。其原理就是按照一定的值(设定的阈值或是算出的相关系数等值)来选择和我们目标(这里指我们的均价)关系最大的几个特征。
- 包装法(Wrapper):一般都使用递归消除特征法:使用一个“基模型”来进行多轮训练,每轮训练后,消除若干权值系数的特征(将其删除),再基于新的特征集进行下一轮训练。
- 嵌入法(Embedded): 基于一些机器学习的模型,得到各个特征的权重系数。再根据权重系数来选择特征。有点类似于过滤法。
这里 有一个基于鸢尾花数据集的特征选择的实例,感兴趣的小伙伴可以去看看。
本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!
