最小二乘法在回归分析和趋势预测中的应用

最小二乘法在回归分析和趋势预测中的应用最小平方法，又称最小二乘法。其方法的计算依据是利用算术平均数的数学性质，在我们介绍算术平均数的数学性质时，有两条性质分别是：一、各个变量值与平均数的离差之和等于零，用表达式表示即0)(xx；二、各个变量值与平均数的离差平方之和为最小值，用表达式表示为最小值2)(xx。这两条数学性质已证明过，我们把它们应用到回归分析和趋势预测中来。回归分析和时间序列趋势预测中，主要是为求得回归方程或趋势方程，但在求得方程的参数时，就要用到上面的两条数学性质。最小平方法的数学依据是实际值(观察值)与理论值(趋势值)的离差平方和为最小。据此来拟合回归方程或趋势方程。1、利用最小平方法拟合直线回归方程拟合直线回归方程的主要问题就在于估计待定参数a和b之值，而用最小平方法求出的回归直线是原有资料的“最佳”拟合直线。假设直线回归方程为：bxayc，其中a是直线的截距，b是直线的斜率，称回归系数。a和b都是待定参数。将给定的自变量x之值代入上述方程中，可求出估计的因变量y之值。这个估计值不是一个确定的数值，而是y许多可能取值的平均数，所以用cy表示。当x取某一个值时，y有多个可能值。因此，将给定的x值代入方程后得出的cy值，只能看作是一种平均数或期望值。配合直线方程的具体方法如下：最小值2)(cyyQ(1)用直线方程bxayc代入式(1)得：最小值2)(bxayQ(2)分别求Q关于a和Q关于b的偏导，并令它们等于0：0))((20)1)((2xbxaybQbxayaQ整理后得出由下列两个方程式所组成的标准方程组：2xbxaxyxbnay(3)根据已知的或样本的相应资料x、y值代入式(3)，可求出a和b两个参数：nxbnyaxxnyxxynb22)((4)只要把a和b两个参数代入cy，就可得到直线回归方程bxayc。并根据此方程在自变量给定的条件下估计因变量的平均可能值。这里要说明的是回归系数b的含义，它表明自变量每增加(或减少)一个单位，因变量将平均增加(或减少)b个单位。上述标准方程组也可从另外的角度理解和获得：根据平均数的数学性质一(开头提到的)，0)(cyy。用bxayc代入。可得：0)(bxay整理后得：xbnay(5)然后，在式(5)等式两边同时乘以x，又可得：2xbxaxy(6)联列式(5)和式(6)，即能得到解直线回归方程参数的标准方程组：2xbxaxyxbnay和式(3)一样再解a和b两个参数，求得直线回归方程。此方法也可推广到求解非直线回归方程。譬如二次曲线回归方程，2cxbxayc。其中有三个待定系数，要设立三个方程求解。用上述同样的思维，能得到如下的标准方程组：4322322xcxbxayxxcxbxaxyxcxbnay(7)这样也能求解a、b、c三个参数。在回归分析中，采用回归估计标准误这一指标来衡量样本观测值y对回归直线的离散程度。回归估计标准误，又称估计标准误差，它是衡量回归估计精确度高低或回归方程代表性大小的统计分析指标，用xyS.表示。xyS.越大，表示回归估计结果越不精确，回归直线方程的代表性越差；反之，恰好相反。回归估计标准误的计算公式如下：22.nxybyaySxy(8)2、利用最小平方法拟合直线趋势方程在时间序列分析中，我们也常常利用最小平方法拟合直线趋势方程，直线趋势方程与直线回归方程基本原理相同，只是直线回归方程中的自变量被时间变量t所取代，方程中的两个待定系数也用同样的方法求得。如果时间数列的一级增长量(即环比增长量)大致相等，则可拟合直线趋势方程。设直线趋势方程为：btayt。如上面介绍方法可得出求解a和b两个参数的标准方程组：2tbtatytbnay解方程组同样能得：tbyattnyttynb22)((9)直线趋势方程btayt中，t是时间序数，往往间隔相等且连续。为了简化计算过程，直线趋势方程还可以采用简捷法的计算形式，求解参数。简捷法求解直线趋势方程，前提是设0t，这要用坐标移位的方法。将0t代入式(9)，其结果就简化为：nyattyb2(10)用式(10)求解a和b两个参数肯定会方便不少，但这里有两个假设要注意：其一，0t；其二，t的间隔相等。具体操作中t的设定为，当时间数列为奇数项时，取中间一项(原点)为0，原点以前的时期分别设为-1，-2，-3，…，原点之后各期设为1，2，3，…；当时间数列为偶数项时，原点就在中间两项的中点，此时可取中间两项分别为-1，1，往上、往下方向分别依次为-1，-3，-5，…和1，3，5，…等等。简捷法的计算形式为大家在趋势预测中简化了计算过程，但实际应用中也经常会出错，其原因：首先，可能是t的设定条件没有满足。其次，用简捷法计算出的趋势方程与用标准方程组计算出的方程往往是不一致的，在t的新设定条件下，参数肯定发生了变化，不要为此产生混淆，但预测出的结果应该是一样的。最后，要提醒注意的是，用简捷法得到的趋势方程用来预测结果时，一定要用t的新设定序号代入方程，否则也会得出错误结果。3、最小平方法的实际应用分析例一、有10个同类企业的生产性固定资产年平均价值和工业总产值资料如下：企业编号生产性固定资产价值(万元)工业总产值(万元)123456789103189102004094155023141210102212255241019638815913928605151612191624合计65259801要求：⑴说明两变量之间的相关方向及程度⑵编制直线回归方程⑶计算估计标准误⑷估计生产性固定资产(自变量)为1100万元时总产值(因变量)的可能值。解题分析：本题是典型的相关与回归分析计算题，首先要判断两变量之间是否相关，并计算相关系数。相关系数的计算可采用多种途径，下面介绍常用三种手法。其一，传统的列表手工计算，把相关的资料在表格的合计栏得出。其二，利用计算器的功能计算，最好计算器有统计功能。其三，利用计算机中的统计软件来计算，目前统计软件也有多种多样，最普通或方便的是Excel。计算本题时，在Excel的界面中输入x和y各项数据，按列排列，然后打开工具菜单，点击“数据分析”，再点击“相关系数”和“回归”功能，很方便地获得计算结果（本题用Excel解可参考本书的附录）。当然，利用计算机计算容易受条件所限。解题过程：计算得Σx2=5668539∑y2=10866577∑xy=7659156∑x＝6525∑y=9801n=10⑴计算协方差，σxy=1264003.5计算的协方差为正数，说明正相关关系。利用相关系数的公式计算r。2222)()(yynxxnyxxynr=0.947757属于高度相关。⑵设直线回归方程：yc=a+bx先求解a、b两个参数，利用上面式(4)计算nxbnyaxxnyxxynb22)(b＝0.8958a＝395.59yc=395.59+0.8958x这里不能把a和b的位置弄错。其中b是回归系数。⑶22.nxybyaySxy=126.65(万元)⑷yc=395.59+0.8958×1100＝1380.97(万元)例二、下面是10家商店销售额和利润率的资料：商店编号每人月平均销售额(千元)x利润率(%)y12345678910658147633712.610.418.53.08.116.312.36.26.616.8要求：⑴计算每人月平均销售额与利润率的相关系数。⑵求利润率依每人月平均销售额的回归方程。⑶估计每人月平均销售额为2000元时的利润率。解题过程：计算列表如下：⑴利用公式计算2222)()(yynxxnyxxynr人均销售额x利润率(%)yX2Y2xy6..12.6..36..158.76..75.6..50110.82941465.00654.9∑X∑y∑X2∑Y2∑XYr=0.987高度的正相关关系。⑵设回归方程yc=a+bx利用公式求得b=2.293a=－0.386yc=－0.386+2.293x⑶当x=2(千元)时，yc=－0.386+2.293×2＝4.2%当每人月平均销售额为2(千元)时，估计利润率为4.2%例三、某企业最近七年来的产值(万元)资料如下：产值第1年320第2年332第3年345第4年358第5年370第6年385第7年400要求：⑴用最小平方法中的“简捷法”拟合直线趋势方程。⑵根据所求得的直线趋势方程预测第8年该企业的产值。⑶所得到的两个参数值分别相当于时间序列水平指标中的哪两个指标？解题分析：本题要求用最小平方法中的“简捷法”拟合直线趋势方程，现有7项数据，属于奇数项，则t的设定从上到下分别为-3，-2，-1，0，1，2，3。且∑t=0。然后利用公式(10)计算。分别求出参数a和b,得到直线趋势方程btayt。解题过程：⑴∑t=0∑t2=28∑ty=371∑y=2510n=7nyattyb2a=358.57b=13.25ty=358.57+13.25t⑵根据t的设定从上到下分别为-3，-2，-1，0，1，2，3。第8年列在第7年之后，第8年的t值应该取4，而不是取8。所以8y358.57+13.25t=358.57+13.25×4=411.57(万元)据预测第8年该企业的产值为411.57(万元)。⑶a相当于“序时平均数”(平均发展水平)b相当于“平均增长量”例四、某地区10年的粮食总产量如下表所示：要求：⑴试检查该地区的粮食生产发展趋势是否接近于直线型的？⑵如果是直线型，请用最小平方法配合直线趋势方程；⑶预测第12年的粮食生产水平。解：⑴列表如下：年份t产量y逐期增长量12345678910230236241246252257262276281286—6556551455从逐期增长量中看出，各期增长量大体相同，所以变化趋势是直线型的。⑵设直线趋势方程为：btayt。b=22)(ttnyttyn=6.34a=81.221tbytyt34.681.221⑶当t=12时ty=221.81+6.34×12=297.89(万吨)该地区第十二年的粮食总产量为297.89(万吨)年份产量(万吨)年份产量(万吨)12345230236241246252678910257262276281286