房价大数据分析模型检验方法

龙源期刊网房价大数据分析模型检验方法作者：陆红来源：《教育教学论坛》2017年第17期摘要：大数据分析模型构建完成后，最重要的是对模型进行检验，如何检验是困扰我们的一个难题，本文围绕房价大数据分析模型，介绍几种大数据分析模型的检验方法，供从事大数据分析研究的人员借鉴和参考。关键词：大数据；分析模型；检验方法中图分类号：G712文献标志码：A文章编号：1674-9324（2017）17-0082-02一、引言房价大数据分析模型通过机器学习方法构建，模型建立完成后需要对模型进行检验，房价大数据模型需要检验拟合的情况，欠拟合说明模型对数据的覆盖程度不够，过拟合无法反应模型的通用性。通过回归诊断，诊断残差情况，残差是反映真实值与假设值之间的差，希望模型残差尽量小，假设值极大地逼近真实值。通过检验可以剔除奇异数，剔除一些干扰项。二、回归诊断1.房价大数据分析模型。price1Residuals：Min1QMedian3QMax-7.5556-2.6667-0.22223.55568.6667残差最小是-7.5556，最大是8.6667，中值是-0.2222。估计的值与真实值存在一定的误差，通过求极值算法使之最小。Coefficients：EstimateStd.ErrortvaluePr（|t|）（Intercept）43.77785.70617.6720.000256***size1.51110.24616.1400.000855***room15.777810.72821.4710.191782龙源期刊网：0‘***’0.001‘**’0.01‘*’0.05‘.’‘’1Residualstandarderror：5.837on6degreesoffreedomMultipleR-squared：0.9949，AdjustedR-squared：0.9932F-statistic：582.3on2and6DF，p-value：1.346e-072.模型参数。采用最小二乘法算法，经过机器学习，训练出模型参数，构成房价大数据分析模型：房价大数据分析模型为y=aX1+bX2+C，其中：X1=size（面积），X2=room（间数），y（总价）。经过机器学习得到模型以下参数：Size=1.5111；Room=15.7778；截距=43.7778；y=1.5111*X1+15.7778*X2+43.7778，此函数为房价大数据分析模型。3.显著性检验。EstimateStd.ErrortvaluePr（|t|）（Intercept）43.77785.70617.6720.000256***size1.51110.24616.1400.000855***room15.777810.72821.4710.191782Signif.codes：0‘***’0.001‘**’0.01‘*’0.05‘.’‘’1残差自由度为6的残差标准误差为5.837，p-value：1.346e-07，P值很小说明无自相关性，残差项之间独立。自变量与应变量相关性，截距和size显著性均为三颗星***，说明截距和size与Y相关性显著；room没有星，说明room与Y房价相关性不显著。4.拟合情况分析。通过数据可视化，观察房价大数据散点图，可以看出房价大数据训练样本呈直线分布。可以用线性回归进行房价大数据分析模型的构建。通过残差与拟合图，观察和分析模型对训练数据集拟合程度，从上图拟合线（红线）对数据的拟合情况看，基本上拟合了大多数数据。没有发生欠拟合或过拟合。MultipleR-squared：0.9949，AdjustedR-squared：0.9932，从这两个数据可以看出拟合达到99%以上，拟合程度很高。5.假设性检验。从正态Q-Q图上可以看出，数据分布在45°直线周围，标准残差成正态分布，满足正态性假设。龙源期刊网方差检验。同方差性，若满足不变方差假设，位置—尺度图纵坐标为标准化残差的平方根，残差越大，点的位置越高。从图中可以看出经过对残差处理为标准化残差的平方根，拟合的总体趋势还可以，个别点可以看出远离拟合线如“点5”、“点7”，奇异点已经显露。7.奇异数检验。从残差与杠杆图中可以看出离群点和影响强度。Cook'sdistance值衡量强影响点的强度，从图中可以看出“点7”这个点Cook'sdistance值超过0.5是所有数据中Cook'sdistance值最高的数据，它是目前的强影响点。杠杆值高的数据是离群点，目前“点4”杠杆值也较高，它也是离群点。三、交叉验证从训练数据集中提取一部分数据作为验证数据，将验证数据代入房价大数据分析模型，得出的结果与真实数据进行比较。如果与真实值很接近，说明分析模型预测房价比较准确；如果模型得出的结果与真实的房价相差较大，需要优化房价大数据分析模型算法。