人大回归分析与时间序列笔记

《应用时间序列分析》（王燕）1.时间序列：按时间顺序记录的观察值序列。理论上用一组按时间顺序排列的随机变量{,}tXtT表示一个随机事件的时间序列，用{,1,,}txtn表示{,}tXtT的长度为n的观察值序列。2.平稳时间序列：基本上只包含随机波动的时间序列。分为严平稳与宽平稳两种。严平稳要求序列所有统计性质（联合概率分布族）不随时间推移而发生变化。宽平稳认为序列统计性质主要由二阶矩决定，只要保证二阶矩平稳，就能保证序列主要性质近似平稳。存在二阶矩的严平稳序列一定是宽平稳序列，宽平稳正态序列也是严平稳序列。时间序列的每个随机变量在任一时刻只能获得一个观察值，样本信息太少，若序列平稳，则能得到基于全体观察值的均值和自协方差的估计值，从而极大地简化了分析的难度，也提高了估计的精度。3.非平稳时间序列：包含趋势、季节性或周期性的时间序列。4.时间序列成分①趋势：时间序列在长期中呈现出来的某种持续上升或下降的变动。②季节性：时间序列在一年中呈现出来的和季节变化相关的稳定的周期性变动。比较有规律，周期多为一年。③周期性：时间序列呈现出来的围绕长期趋势的某种波浪式变动。无固定规律，周期多为一年以上且长短不一。④随机性：时间序列中除去趋势、季节性、周期性之外的偶然性波动。5.时间序列模型①加法模型：ttttxTSI。②乘法模型：ttttxTSI。③混合模型：ttttxSTI，()ttttxSTI。④季节多元回归模型：01112233ttxaatbQbQbQI趋势随机波动季节成分。⑤ARMA(p,q)模型（自回归移动平均模型）011112(,0)()0,(),()0()()0()ttptpttqtqpqttststxxxEVarEstExst⑥ARIMA(p,q,d,T)模型（求和自回归移动平均模型）2()()()0,(),()0()()0()dTttttststBxBEVarEstExst符号说明a.B为一阶延迟算子（1ttBxx）；b.1()1(0)pppBBB为自回归系数多项式；c.1()1(0)qqqBBB为移动平均系数多项式；d.(1)ddB为d阶差分算子；e.T为步长为周期T的T步差分算子。6.平滑法：利用修匀技术，削弱短期随机波动，使序列平滑而显示出变化规律。分为简单平均法、移动平均法、指数平滑法。可短期预测平稳序列，也可使序列平滑以描述其趋势。7.季节指数：用简单平均法计算的周期内各时期季节性影响的相对数，反映了该季节平均值与总平均值之间的一种比较稳定的关系，可以用来确定并分离季节成分。计算步骤如下a.计算周期内各期平均值（m期为一周期，共n个周期）11,1,,nkikixxkmnb.计算总平均值111nmikikxxnmc.计算各期季节指数,1,,kkxSkmx8.时间序列分析过程图4①预处理：平稳性检验与白噪声检验。前者有图检验法（时序图、自相关图）和单位根检验法；后者用Q统计量检验。②平稳时间序列分析（见图5）图5③非平稳时间序列分析a.确定性分析：将序列进行确定性因素分解。该方法重点提取确定性信息，而对随机信息浪费严重，使得模型拟合精度不高；b.随机性分析：拟合ARIMA模型，大大提高拟合精度，但直观解释比较困难。《应用回归分析》（何晓群）1概述1.回归分析的任务：用观测数据来估计回归方程，以揭示因变量对自变量的依赖关系，讨论有关的点估计、区间估计和假设检验等问题，应用于结构分析、预测和控制。2.回归分析的步骤图62一元线性回归1.一元线性回归是很多实际现象的近似，能较好地反映回归分析的核心思想。2.回归模型与方程①理论回归模型012()0,()yxEVar②理论回归方程01(|)Eyxx③样本回归模型012,1,,()0,(,)iiiiijijyxinECov④经验回归方程01ˆˆˆyx3.参数估计①普通最小二乘估计（OLSE）01001100112220101222010101,ˆ01ˆ0ˆ01ˆ1(,)(())()ˆˆˆˆˆ(,)min(,)()()1ˆˆ2()200ˆˆ2()2iiiiiiiiiiiiiiiiiiiiQyEyyxQQyxyyeQyxeeenQxyxxe01201011200ˆˆ()ˆˆ()()ˆˆ()()ˆ()iiiiiiiixyiiixxxenxyxxxyyxLxxyyxxL②最大似然估计（MLE）：利用总体密度函数或概率分布及样本信息来估计参数，使得样本落在已知样本值附近的概率最大。2/2201222012222011(2)exp{()}21lnln(2)ln()22211ˆˆˆ()niiiiMiiiLyxnnLyxyxenn4.OLSE的性质①无偏性：ˆˆ(),()jjiiEEyy。②有效性（Guass-Markov定理）：在G-M条件下，ˆj是j的唯一最小方差线性无偏估计。③估计量（协）方差2221222012222222201()ˆ()()()()11ˆˆ()()(())()()2()11()()()1ˆˆ(,)((iiixxxxxxiiixxxxiixxxxxxixxxxVarVaryLLLxxxxxxVarVaryxVarynLnLxxxxxxxnLnLnLxxxCovCovnL220001000),)()1()()1ˆˆˆ()()(())()()1(())()()1(iiixxxxiixxxxxxiiixxxxiixxixxxyyLxxxxxxnLLLxxxxxVaryVarxVaryynLLxxxxVarynLxxxxnL22222000)()1()xxxxxhnL5.区间估计（正态假定）2111121/2ˆ~(,)ˆ~(2)ˆ/ˆˆxxxxxxNLttnLtL6.假设检验（正态假定）①必要性：检验经验回归方程是否真正描述了因变量与自变量之间的统计规律性。②t检验a.0111:0:0HH；b.012ˆ~(2)ˆ/HxxttnL。③F检验：0/1~(1,2)/(2)HSSRFFnSSEn。④相关系数检验a.0:0H；b.022~(2)1Hrnttnr。⑤t统计量与F统计量的关系11222111122212ˆ2ˆ211ˆˆ[()]/12ˆˆˆ//2ˆ/1ˆ/(2)xxyyxxyyxxxxyyxxxxxxLnLrntLrLLLnLSSELLnLSSRFtSSEn⑥拟合优度检验a.决定系数：2SSRrSST，反映了因变量变异中能用自变量解释的比例，描述了回归直线拟合样本观测值的优劣程度；b.调整决定系数：当n较小时，2r接近于1，包含虚假成分，可结合n和p对2r进行调整；c.拟合优度检验与F检验的比较：F统计量与2r统计量是等价的，但不能相互代替。F统计量有精确的分布，F检验可在给定显著性水平下给出严格的统计结论；2r统计量没有精确的分布，拟合优度检验得出的结论比较模糊。2(2)(2)22nSSRFSSRSSErnSSRFnSSTnSSE7.残差分析①残差与随机误差的比较0101()()ˆˆˆ()iiiiiiiiiiyEyyxeyyyx总体模型误差样本模型误差②残差的性质a.期望：ˆ()()0iiiEeEyy；b.方差012222ˆˆˆ()()()()()1(())()()()11((1)())()()()11(1)()iiiiiijijjxxijiijjixxxxijijixxxxVareVaryyVaryxxxxxVaryynLxxxxxxVaryynLnLxxxxxxnLnL222222222222()()2()21(1)()2()()21(1)()()1(1)(1)ijijxxxxiixxxxiiixxxxxxxxnLnLxxxxnLnLxxhnLc.2210,0,()2iiiiieeexeEnn。222222111()()()(1)2222()1()2iiiiiixxeEEeVarehnnnnxxnnLn③改进残差a.标准化残差（半学生化残差）：ˆiieZRE；b.学生化残差：ˆ1iiiieSREh。④残差图：诊断模型是否满足基本假定，是否存在异常值，因变量与自变量是否线性相关，等等。8.预测与控制①单值预测：2001001000ˆˆˆ~(,)yxNxh。②0y的预测区间（随机变量）20000ˆ~(0,(1))yyNh00000/2000ˆ~(2)1ˆˆˆˆ1(2)yyttnhythy③0()Ey的置信区间（未知参数）200000/200ˆ()~(0,)ˆˆEyyNhyth④控制100212ˆˆˆˆ22{}1TyyyTPTyT3多元线性回归1.多元线性回归模型：yX。2.基本假定：①解释变量为非随机变量，不存在多重共线性，与随机扰动项不相关。②Guass-Markov假定：2()0,()nEVarI。③正态假定：2~(0,)nNI。3.参数估计①OLSEa.1ˆ()XXXy；b.2ˆ/(1)SSEnp。②MLE2/2222121(2)exp{()()}21lnln(2)ln()()222ˆ()/nMMLyXyXnnLyXyXXXXySSEn③OLSE的性质a.无偏性：2ˆ(),()1SSEEEnp；111()()(())(())(())()()()()()()(())((()))((()))((()))SSEyXyXyXXXXyyXXXXyyIXXXXyyIHyXIHXIHESSEEIHEtrIHEtrIHtrEIH2222(()())(())()(())(1)ntrIHEtrIHItrIHntrHnpb.有效性（Guass-Markov定理）：在G-M条件下，ˆc是c的唯一最小方差线性无偏估计（正态假定下是最小方差无偏估计）；c.估计量（协）方差：21ˆˆ()(),(,)0VarXXCove；121ˆ(,)((),())()()0CoveCovXXXyIHyXXXIHd.正态假定下：2122ˆ~(,()),/~(1)NXXSSEnp。4.假设检验①回归方程显著性检验a.01:0pH；b.0/~(,1)/(1)HSSRpFFpnpSSEnp。②回归系数显著性检验a.0:0,1,,jjHjp；b.00()2ˆ/1~(1),~(1,1)/(1)ˆjjHHjjjjjjjSSRttnpFtFn