第六章-回归分析

第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪第6章回归分析第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪本章主要阐述回归分析的基本概念，并重点介绍一元线性回归和非线性回归的基本方法，给出回归方程的方差分析和显著性检验。从而使学生掌握回归分析方法的基本原理，学会从实际测量中寻求两个变量和多个变量之间的内在关系。教学目标第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪•回归分析的基本概念和主要内容•一元线性回归方程的求法•回归方程的方差分析和显著性检验•一元非线性回归方法重点与难点第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪第一节回归分析的基本概念一、函数与相关函数关系：可以用明确的函数关系式精确地表示出来相关关系：这些变量之间既存在着密切的关系，又不能由一个（或几个）自变量的数值精确地求出另一个因变量的数值，而是要通过试验和调查研究，才能确定它们之间的关系。第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪第一节回归分析的基本概念二、回归分析思路1、由数据确定变量之间的数学表达式－回归方程或经验公式；2、对回归方程的可信度进行统计检验；3、因素分析。第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪第二节一元线性回归一元线性回归：确定两个变量之间的线性关系，即直线拟合问题。一、回归方程的确定例：确定某段导线的电阻与温度之间的关系：19.125.030.136.040.046.550.076.3077.8079.7580.8082.3583.9085.10散点图：202530354045507678828084Cxo//y第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪第二节一元线性回归从散点图可以看出：电阻与温度大致成线性关系。设测量数据有如下结构形式：Ntxyttt,,2,1,0式中，分别表示其它随机因素对电阻值影响的总和。N,,,21Nyyy,,,21思路：要求电阻y与x的关系，即根据测量数据要求出0和的估计值。根据测量数据，可以得到7个测量方程，结合前面所学，未知数有两个，而方程个数大于未知数的个数，适合于用最小二乘法求解。第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪第二节一元线性回归设得到的回归方程bxby0ˆ残差方程为Ntbxbyyyvttti,,2,1,ˆ0根据最小二乘原理可求得回归系数b0和b。对照第五章最小二乘法的矩阵形式，令NNNvvvVbbbxxxXyyyY2102121ˆ111第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪第二节一元线性回归则误差方程的矩阵形式为VbXYˆ对照，设测得值的精度相等，则有XALVˆtyYXXXbTT1)(ˆ将测得值分别代入上式，可计算得xxxyNttNttNttNttNtttllxxNyxyxNb2112111)())((xbyxxNyxxyxbNtNttttNttNttNttNtt1122111120)())(())((第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪第二节一元线性回归其中211122111121121211)(1)())((1)()()(1)(11NttNtNtttyyNttNttNttttNttxyNttNttNttxxNttNttyNyyylyxNyxyyxxlxNxxxlyNyxNx第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪二、回归方程的方差分析及显著性检验第二节一元线性回归问题：这条回归直线是否符合y与x之间的客观规律？回归直线的预报精度如何？对N个观测值与其算术平均值之差的平方和进行分解；从量值上区别对Ｎ个观测值的影响因素；用F检验法对所求回归方程进行显著性检验。方差分析法第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪第二节一元线性回归（一）回归方程的方差分析1、引起变差的原因：A、自变量x取值的不同；B、其它因素（包括试验误差）的影响。2、方差分析总的离差平方和（即N个观测值之间的变差）NtyytlyyS12)(1NS可以证明：第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪第二节一元线性回归S=U+Q其中NtxytblyyU12)(xyyyNtttbllyyQ12)ˆ(1U2NQU—回归平方和，反映总变差中由于x和y的线性关系而引起y变化的部分。Q—残余平方和，反映所有观测点到回归直线的残余误差，即其它因素对y变差的影响。第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪第二节一元线性回归（二）回归方程显著性检验—F检验法基本思路：方程是否显著取决于U和Q的大小，U越大，Q越小，说明y与x的线性关系愈密切。计算统计量FQUQUF//对一元线性回归，应为)2/(1/NQUF查F分布表，根据给定的显著性水平和已知的自由度1和N-2进行检验：第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪若回归在0.01的水平上高度显著。第二节一元线性回归),2,1(01.0NFF),2,1()2,1(01.005.0NFFNF回归在0.05的水平上显著。),2,1()2,1(05.010.0NFFNF回归在0.1的水平上显著。),2,1(10.0NFF回归不显著。第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪（三）残余方差与残余标准差第二节一元线性回归残余方差：排除了x对y的线性影响后，衡量y随机波动的特征量。22NQ残余标准差：2NQ含义：越小，回归直线的精度越高。第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪第二节一元线性回归（四）方差分析表来源平方和自由度方差F显著性回归残余1N-2－总计N-1－－－xyblUxyyybllQyylS三、重复试验情况1、重复试验的意义“回归方程显著”：只表明因素x的一次项对y的影响显著；难以确定影响y的是否还有其它不可忽略的因素？x和y是否线性?不表明该方程拟合得很好。)2/(1/NQUF)2,1(NF第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪为检验一个回归方程拟合的好坏，可通过重复试验，获得误差平方和和失拟平方和，然后用对进行F检验。第二节一元线性回归EQLQEQLQ2、重复试验回归直线的求法1）设N个试验点，每个试验点重复m次试验，则将这m次试验取平均值，然后再按照前面的方法进行拟合，见表6－5和表6－6。2）方差分析第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪来源平方和自由度方差F显著性回归失拟误差总计－－－第二节一元线性回归xymblUUmlQyyLNtmittiEyyQ112)(LEQQUS1U2NL)1(mNE1NmSUU/LLQ/EEQ/EEUQUF//EELLQQF//1),(EUF),(ELF3）方差检验EEUQUF//)/()(/2LELEUQQUF:判断一元回归方程拟合效果:判断失拟平方和对试验误差的影响:综合判断一元回归方程拟合效果EELLQQF//1第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪第二节一元线性回归1）分组法－平均值法将自变量按由小到大次序排列，分成个数相等或近于相等的两个组（分组数等于未知数个数），则可建立相应的两组观测方程：kkbxbybxby0101NNkkbxbybxby0101将两组观测方程分别相加，得NktNktttktktttxbbkNyxbkby110110)(b和b02）图解法－紧绳法四、回归直线的简便求法第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪第三节一元非线性回归2、求解未知参数。可化曲线回归为直线回归，用最小二乘法求解；可化曲线回归为多项式回归。1、确定函数类型并检验。一、求解思路二、回归曲线函数类型的选取和检验1、直接判断法2、作图观察法，与典型曲线比较，确定其属于何种类型，然后检验。第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪第三节一元非线性回归3、直线检验法（适用于待求参数不多的情况）a、预选回归曲线b、c、求出几对与x,y相对应的Z1,Z2值d、以Z1,Z2为坐标作图，若为直线，则说明原选定的曲线类型是合适的，否则重新考虑。0),,,(bayxf0),,,(bayxf21BZAZ第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪4、表差法（适用于多项式回归，含有常数项多于两个的情况）第三节一元非线性回归a、用试验数据画图；b、确定定差，列出xi,yi各对应值；c、根据x,y的读出值作出差值，看其是否与确定方程式的标准相符，若一致，则说明原选定的曲线类型是合适的。xky三、化曲线回归为直线回归问题用直线检验法或表差法检验的曲线回归方程都可以通过变量代换转为直线回归方程，利用线性回归分析方法可求得相应的参数估计值。第六章回归分析西华大学物理与化学学院物理实验中心谌晓洪第三节一元非线性回归回归曲线方程的效果与精度：NtttyyQ12)ˆ(2NQ残余平方和残余标准差相关指数NtttyyQR122)(1衡量回归曲线效果好坏的指标可以作为根据回归方程预报y值的精度指标