第11章统计分析

2019/12/23数据仓库与数据挖掘1第11章统计分析2019/12/23数据仓库与数据挖掘211.1线性回归模型11.1.1线性回归模型的参数估计11.1.2线性回归方程的判定系数11.1.3线性回归方程的检验11.1.4统计软件中的线性回归分析11.1.5SQLSever2005中的线性回归应用2019/12/23数据仓库与数据挖掘311.1.1线性回归模型的参数估计多元线性回归模型线性回归分析就是根据因变量Y和自变量X对模型中的回归系数βj(j=0,1,2,…,k)进行参数估计，进而利用线性回归模型进行预测和分析kk22110X...XXY2019/12/23数据仓库与数据挖掘411.1.1线性回归模型的参数估计回归系数的估计值为(j=0,1,2,…,k)可以通过下述方式计算其中j*T1TYX)XX(Tk210),...,,,(Tn21*)y,...,y,y(Ynk2n1nk22221k11211x...xx1...............x...xx1x...xx1X2019/12/23数据仓库与数据挖掘511.1.2线性回归方程的判定系数因变量的真实值与估计值之间的接近程度通常用判定系数来进行度量。判定系数的定义式为其中yi是因变量的真实值，是yi的估计值，的取值为TSSESS1TSSRSSR2n1i2i)yy(TSSn1i2i)yy(RSSn1i2ii)yy(ESSiyyn1iiyn1y2019/12/23数据仓库与数据挖掘611.1.3线性回归方程的检验在实际应用中，只能利用总体中的一部分进行统计分析。根据部分数据样本进行统计分析得到的计算结果能否代表总体的真实情况？这需要通过假设检验的方法加以判断。假设检验通常采用t检验和F检验。2019/12/23数据仓库与数据挖掘711.1.4统计软件中的线性回归分析请参考书本P214~P215。2019/12/23数据仓库与数据挖掘811.1.5SQLSever2005中的线性回归应用创建AnalysisServices项目创建数据源创建数据源视图创建线性回归挖掘结构设置线性回归挖掘结构的相关参数建立线性回归挖掘模型查看挖掘结果2019/12/23数据仓库与数据挖掘911.2Logistic回归模型11.2.1Logistic回归模型的参数估计11.2.2统计软件中的Logistic回归的结果分析11.2.3SQLSever2005中的Logistic回归应用2019/12/23数据仓库与数据挖掘1011.2.1Logistic回归模型的参数估计Logistic回归模型P为因变量Y取值为1的概率，P/(1-P)称为发生比P的估计值可以通过如下的公式计算得出kk22110X...XX)P1Pln()X...XX()X...XX(kk22110kk22110e1eP2019/12/23数据仓库与数据挖掘1111.2.2统计软件中的Logistic回归的结果分析请参考书本P221~P222。2019/12/23数据仓库与数据挖掘1211.2.3SQLSever2005中的Logistic回归应用创建AnalysisServices项目创建数据源创建数据源视图创建逻辑回归挖掘结构设置逻辑回归挖掘结构的相关参数建立逻辑回归挖掘模型查看挖掘结果2019/12/23数据仓库与数据挖掘1311.3时间序列模型11.3.1ARIMA模型11.3.2建立ARIMA模型的步骤11.3.3使用统计软件估计ARIMA模型11.3.4SQLSever2005中的时间序列分析2019/12/23数据仓库与数据挖掘1411.3.1ARIMA模型差分自回归移动平均模型产生于20世纪60年代末根据不同设定可以简化成以下几种模型：AR模型MA模型ARMA模型2019/12/23数据仓库与数据挖掘1511.3.1ARIMA模型AR模型（自回归模型）MA模型（移动平均模型）ARMA模型tptp1t10taYYYqtqtttaaaY11qtqttptpttaaaYYY111102019/12/23数据仓库与数据挖掘1611.3.1ARIMA模型根据Box、Jenkins的建模思想，只有时间序列满足平稳性和可逆性的要求时上述模型才有意义。对于不平稳的时间序列，必须先转化为平稳的时间序列以后才能建立ARMA模型。差分是最常用的时间序列平稳化手段。就是用时间序列的当前值减去前面一个观测值。2019/12/23数据仓库与数据挖掘1711.3.1ARIMA模型ARIMA模型其中：d：差分次数B：后移算子qtq1t1tptp1t10ttdtaaaZZZY)B1(Z2019/12/23数据仓库与数据挖掘1811.3.2建立ARIMA模型的步骤根据时间序列的图形或者其他方法对序列的平稳性进行判断对非平稳序列进行平稳化处理，一般使用差分的方法对于差分后的平稳序列，根据时间序列模型的识别规则建立相应的模型对模型中的参数进行估计对模型中参数的显著性、拟合效果等进行检验和分析通过检验的模型就可以用来进行预测了2019/12/23数据仓库与数据挖掘1911.3.3使用统计软件估计ARIMA模型请参考书本P230~P231。2019/12/23数据仓库与数据挖掘2011.3.4SQLSever2005中的时间序列分析创建AnalysisServices项目创建数据源创建数据源视图创建逻辑回归挖掘结构设置逻辑回归挖掘结构的相关参数建立逻辑回归挖掘模型查看挖掘结果