a7-ok SCM2.3最小平方回归

Section2.3Least-SquaresRegression最小平方迴歸迴歸直線(RegressionLine)•迴歸直線是用來描述反應變數y與解釋變數x線性關係的直線，在給定x之下通常使用迴歸直線的公式來預測y。•平均日加溫度數(heatingdegree-days)為20度時，根據下圖的迴歸直線可算出月平均瓦斯消耗量約為490cu.ft。迴歸直線實例246.35110.9438.9337.5265.313441.701.201.211.20246810120102030405060Averagenumberofheatingdegree-daysperdayAverageamountofgasconsumedperdayinhundredsofcubicfeet(20,4.9)預測誤差•迴歸直線的選擇直接影響預測值的準確性。•我們以y之觀察值-y之預測值稱為誤差，或稱為垂直距離。error=observedy–predictedy–平均日加溫度數為20度時，若實際月平均瓦斯消耗量為510cu.ft，則誤差=510-490=20。yyeˆ-預測誤差圖示246.35110.9438.9337.5265.313441.701.201.211.262.1123.1306.4327.25211306.94.555.566.5720222426283032averagenumberheatingdegree-daysperdayaverageamountofgasconsumedperdayinhundredsofcubicfeet預測值觀察值y誤差yˆyyˆ-最小平方迴歸直線•依據誤差平方和最小的原則求得的迴歸直線，稱為最小平方迴歸直線(leastsquaresregressionline)。–改變迴歸直線的截距(intercept)與斜率(slope)，選擇使誤差平方和最小的直線。最小平方迴歸直線方程式•若直線方程式為y=a+bx，則在xi之下yi的預測值為，則誤差平方和即為•依據微積分的方法可求得使誤差平方和最小的a,b值分別為•最小平方迴歸直線即為--iiiiiibxayyy22))(()ˆ(iibxayˆxbyaˆˆ-xyssrbˆxbayˆˆˆ最小平方迴歸直線實例•統計資料則•最小平方迴歸直線即為0892.131.22189.0306.5ˆ-a189.074.17368.3995.0ˆbxy189.00892.1ˆmeanSt.Dev.CorrelationrDeg-dayx22.3117.740.995gasusedy5.3063.368最小平方迴歸直線-minitabTheregressionequationisgasused=1.09+0.189deg-dayPredictorCoefStdevt-ratiopConstant1.08920.13897.840.000deg-day0.1889990.00493438.310.000s=0.3389R-sq=99.1%R-sq(adj)=99.0%AnalysisofVarianceSOURCEDFSSMSFpRegression1168.58168.581467.550.000Error141.610.11Total15170.19最小平方迴歸直線-minitab圖504030201001050deg-daygasused“Regressiontowardthemean”•To“regress”meanstogobackward.•Whythename?•SirFrancisGalton(1822-1911)foundthat:–Heightsofchildrenvs.heightsoftheirparents–Thetaller-than-averageparentstendedtohavechildrenwhoweretallerthanaverage,butnotastallastheirparents.•Galtoncalledthisfact“regressiontowardthemean”.最小平方迴歸的性質•最小平方迴歸直線中反應變數y與解釋變數x的角色是不相同的。–反應變數y與解釋變數x互換會得到不同的迴歸直線。•迴歸直線的斜率與相關係數關係密切。b=r(sy/sx)兩條迴歸直線(例2.10擴散中的宇宙)(實線為velocityvs.distance)21010005000distancevelocity最小平方迴歸的性質(續)•迴歸直線一定通過點。–迴歸直線方程式中，以代入可得即表示點在迴歸直線上。),(yxyxbxbyxbay-ˆ)ˆ(ˆˆˆxbayˆˆˆxx),(yx最小平方迴歸的性質(再續)•相關係數描述了迴歸直線的強度。–相關係數平方即為反應變數y的變異中，被對變數x作迴歸所解釋的部分(比例)。餘差(Residuals)(殘差)•觀察值y與預測值的差稱為餘差，又稱殘差。•餘差總和必為零iiiyyeˆˆ-iyˆ餘(殘)差圖(ResidualsPlot)•餘差與對應的解釋變數的散佈圖，稱為餘差圖。•餘差圖有助於瞭解迴歸直線的適合性。–餘差圖為非線性。–餘差的散佈隨著x值的增加而散開或縮小。標準餘差圖-4-2024x曲線型餘差圖-4-2024x發散型餘差圖-4-2024x餘差圖中的特殊點(UnusualPoints)•離群點(outliers)：餘差特別大(不論正負)的點，偏離整體餘差的分佈。–Child19•干擾點(influentialobservations)：該點的移除對於迴歸直線的計算結果有重大的影響，稱為干擾點(或影響點)。–x值特出(大或小)的點(x方向的離群點)，多為干擾點。–干擾點的餘差通常不大，因為它們會把迴歸線拉向自己。–Child18餘差圖實例•小孩說第一句話的時間與日後Gesell(資質)能力測驗成績的迴歸關係。–迴歸直線如後–餘差如下，餘差圖如後迴歸直線圖403020101251151059585756555agescoreChild19Child18迴歸餘差圖403020103020100-10-20ageRESI1Child18Child19Child19干擾點對迴歸直線的影響403020101251151059585756555agescoreChild18Child19