搜索
粒子物理与核物理实验中的数据分析陈少敏清华大学第十一讲：置信区间2本讲要点统计误差中的标准误差问题经典置信区间问题利用似然函数或二乘函数确定置信区间3测量结果的表述与含义其真正的含义是什么呢？1,...,nxx实验数据：ˆobsθ估计实验目的：21.073.5ˆˆˆ±=±θσθobsˆˆ(;)gθθθ如果我们知道将服从某一概率密度函数分布，那么上述结果的正确表述应该是5.73θ的估计值为ˆ0.21θσ的估计值为m2ˆˆθθσ并且还应给出的方差，即。结果应该报告成下述形式ˆˆ(;)gθσθθ测量了的分布宽度4参数估计值的分布ˆ(;)gθθ通常参数估计值服从的概率密度分布函数是多维高斯分布mˆˆˆˆˆcov[,](;)ijVgθθθθθ=GGG和综合了我们对的了解或估计可以用来作误差传递的输入参量，以及用最小二乘法求平均值等等。ˆ(;)gθθ如果是高斯形式的话，置信区间可以表述为]ˆˆ,ˆˆ[ˆˆθθσθσθ+−obsobs中心置信区间应给出不对称的误差ˆ(;)gθθ如果不是服从高斯分布ˆgθθ我们可以此约定来报告误差，而不管概率密(;)度函数的形式。唯一例外的是当我们要对不同实验求平均值时，它的形式就会发挥作用。给出了对应于68.3%置信区间范围。5经典置信区间0.05αβ==首先需要指定“上下分布尾部的概率”，例如：()()ˆ(())ˆˆ(;)1(();),ˆ(())ˆˆ(;)(();)uPugdGuPgdGαβαθαβνθβαθθθθθθθβθνθθθθνθθ∞−∞=≥==−=≤==∫∫ˆˆ,obsθθθ假设我们对参数有估计量，并且有估计值ˆgθθθ为了正确表述结果，对于所有的我们(;仍)需要知道的形式。(),),(uαβθνθ然后找出使得6经典置信区间(续一)不等式或者合并成ˆθθ无论为何值，在置信带找到的概率为ˆ(()())1Pvuββθθθαβ≤≤=−−(),()uvαβθθ假设是单调变化的，那么11ˆˆˆˆ()(),()()aubvαβθθθθ−−≡≡ˆˆ(),()uvαβθθθθ≥≤等价于θθθθ≤≥)ˆ(,)ˆ(baˆˆ(()),(()).PaPbθθαθθβ≥=≤=βαθθθ−−=≤≤1))ˆ()ˆ((baP(),()uαβθυθ在之间的区域称为置信带。ˆ,abθθθ在不知道真值的情况下，通过估计值与函数给出的置信区间。7经典置信区间(续二)它的深刻含义是注意，该区间是随机的，真值θ是一个未知常数。ˆˆ[(),()]1abθθαβ−−区间称为具有置信水平或覆盖概率的置信区间。包含真实参数的概率为1-α-βˆˆˆ[,],,dcabcadbθθθ+−=−=−通常情况下，将区间告为报即。0.310.25ˆ80.25θ+−=那么意味着什么呢？它并不意味着任意一次实验：βαθ−−=1)56.8000.80(P而是意味着：重复同样样本大小的实验多次，每次按同样的描述构造置信区间，有1-α-β部分的实验，置信区间将覆盖θ。通常，取α=β=γ/2有时，只有指定的α或β单边区间(极限)粒子物理与核物理的误差惯例是：68.3%的中心置信区间。覆盖概率为1-γ中心置信区间ˆθαβ中心置信区间并不意味着区间对于是对称的，它仅注因为:=意。8经典置信区间(续三)通常，我们并不构造置信带，而是解下列方程得到a与b的区间极限。);ˆ(ˆ);ˆ();ˆ(1ˆ);ˆ(ˆˆbGdbgaGdagobsobsobsobsθθθβθθθαθθ==−==∫∫∞−∞ˆˆ()obsaPθθθα=是的假设值使得：ˆˆ()obsbPθθθβ=是的假设值使得：9高斯分布估计量的置信区间如果存在为了找到θ置信区间，解下列方程⎟⎟⎠⎞⎜⎜⎝⎛−−=2ˆ22ˆ2)ˆ(exp21);ˆ(θθσθθπσθθg,ˆ),;ˆ(,ˆ1),;ˆ(1ˆˆˆˆ⎟⎟⎠⎞⎜⎜⎝⎛−Φ==⎟⎟⎠⎞⎜⎜⎝⎛−Φ−=−=θθθθσθσθβσθσθαbbGaaGobsobsobsobs得到a与b的解10高斯分布估计量的置信区间(续)∫∞−−=Φxxdxex'21)(2/'2π1ˆ1ˆˆ(1),ˆ(1)obsobsabθθθσαθσβ−−=−Φ−=+Φ−1CERNLIBGAUSIN−Φ这里给出标准高斯的分位点(累积分布的倒数，可以调用的程序计算)。)1(),1(11βα−Φ−Φ−−是标准高斯的累积函数，可以证明ˆGθ前面的函数是对于的累积分布，且ˆabθ给出与离有多少标准偏差。11标准高斯的分位点为了找到服从高斯分布的一个参数估计量的置信区间，需要下列分位点通常对分位点取整有时对概率覆盖率取整γγ−−Φ−1)2/1(110.682710.841320.954420.977230.997330.9987αα−−Φ−1)1(10.901.6450.901.2820.951.9600.951.6450.992.5760.992.326)2/1(11γγ−Φ−−)1(11αα−Φ−−中心单边中心单边12泊松分布均值的置信区间虽然对于固定的α，β，置信带对所有的ν并不存在，但依然可以解方程ˆ,ˆobsobsnnnνν==假设是泊松量，，估计值,...1,0,!);(==−nennPnννν,!);ˆˆ(,!1);ˆˆ(010∑∑=−−=−=≤=−=≥=obsobsnnbnobsnnanobsenbbPenaaPννβννα得出a与b13泊松分布均值的置信区间(续一)利用))1(2;2(1!20+=−=−=∑mnFendmnnννχν22111(;2),21(1;2(1)),2dobsdobsaFnnbFnnχχαβ−−===−=+2dFnχ这里是自由度下最小二乘分布的累积形式。21CERNLIBCHISINFχ−这里是最小二乘分布的分位点(可以调用的程序进行计算)。1001,!,!obsobsnnannnbnaenbenαβ−−=−==−=∑∑14泊松分布均值的置信区间(续二)重要特例:0对于置信水平1-β=95%的上限，=obsn00!nbbnbeenβ−−===∑log(0.05)2.9963.b=−=≈logbβ=−15例子:稀有衰变分支比已知实验对稀有衰变的单个事例灵敏度为9113.9310Nε==××观测总数效率灵敏度如果实验上没有观察到一个事例，要给出90%的置信水平，需计算(0;)10%!nePnnμμμ−===2.30259μ=90.5910−≤=××9分支比上限2.302593.9310如果实验上观察到一个事例，要给出68%的置信区间的分支比，需要给出重复实验在(1-0.68)/2=0.16范围内观察到至少一个事例的均值下限1(;)1(0;)0.16nPnPμμ∞==−=∑0.17435μ=以及不多于一个事例的均值上限10(;)0.16nPnμ==∑3.28852μ=2.288520.8256595.82102.1013.9310(2.54)10BR+−+−−=×=×Kπνν++→16从logL或χ2近似给出置信区间若logL(θ)呈抛物线状，通过将logL(θ)展开,则可得到即使logL(θ)并不呈抛物线状，上式也可以给出置信区间的近似值，即2ˆmaxˆlog()log.2LLNNθθσ±=−,)ˆ(,2log)ˆ(log22min22maxNNLLdcdc+=−=+−+−χθχθ1(1/2)Nγγ−=Φ−这里是标准高斯对应于置信水平的分位点1-，例如：683.011=−⇒=γN例如在指数函数例子中，有n=5个观测值52.030.085.0ˆ+−=τm2max2ˆˆ()log()log2LLθθθθσ−=−17例子：激光球位置定位itjtiTOFjTOF在布置的Project练习中，为了确定发光点(激光球)的位置，我们利用了假设：光的传输均为直线到达各光电倍增管因此，2221222000000(),()()()()/,(,,),NiiitiiiiiitTOFqTOFxxyyzzvxyzqiχσ=−==−+−+−∑光速拟合参数：=第个光电倍增管所测量的电荷。2MINUITχ利用求的最小值，给出拟合参数估计值。18激光球位置定位(续一)**3**MIGRAD…MIGRADMINIMIZATIONHASCONVERGED.MIGRADWILLVERIFYCONVERGENCEANDERRORMATRIX.COVARIANCEMATRIXCALCULATEDSUCCESSFULLYFCN=12173FROMMIGRADSTATUS=CONVERGED42CALLS149TOTALEDM=4.63375e-07STRATEGY=1ERRORMATRIXACCURATE…**4**HESSECOVARIANCEMATRIXCALCULATEDSUCCESSFULLYFCN=12173FROMHESSESTATUS=OK16CALLS165TOTALEDM=4.634e-07STRATEGY=1ERRORMATRIXACCURATEEXTPARAMETERINTERNALINTERNALNO.NAMEVALUEERRORSTEPSIZEVALUE1x_ball1.19248e+025.18328e-015.53129e-031.19248e+022y_ball2.00654e+025.16683e-015.51239e-032.00654e+023z_ball2.04621e+024.87005e-015.24468e-032.04621e+02…MINUIT给出正常信息19激光球位置定位(续二)NO.NAMEVALUEERRORSTEPSIZEVALUE1x_ball1.19248e+025.18328e-015.53129e-031.19248e+022y_ball2.00654e+025.16683e-015.51239e-032.00654e+023z_ball2.04621e+024.87005e-015.24468e-032.04621e+02EXTERNALERRORMATRIX.NDIM=25NPAR=3ERRDEF=12.687e-013.683e-024.735e-033.683e-022.670e-017.282e-034.735e-037.282e-032.372e-01PARAMETERCORRELATIONCOEFFICIENTSNO.GLOBAL12310.138321.0000.1380.01920.140030.1381.0000.02930.032560.0190.0291.000方差矩阵相关系数矩阵20激光球位置定位(续三)报告结果0200ˆ(119.250.52)1.0000.1380.019ˆ(200.650.52)0.1381.0000.029ˆ(204.620.49)0.0190.0291./(3)1.82000xcmycmzcmNχ=±⎛⎞⎜⎟=±=⎜⎟⎜⎟=−=±⎝⎠相关系数在假设光的传输均为直线到达各光电倍增管，测量误差仅考虑光电倍增管对时间测量的标准误差情况下，拟合结果为：上述误差均为统计误差，拟合的χ2/ndf值偏离期待值1较大。21激光球位置定位(续四)为了确认真值有68.3%的可能性出现所给出的置信区间内，重复10次实验，得到平均值000(120.3)(201.50.40.)(20430..3)4xcmycmzcm=±=±=±多次测量的结果均相符注意：由于χ2/ndf大于1，误差均含修正因子。多次测量的结果均相符真值但是与真值有偏差…22激光球位置定位(续五)(ns)tΔ第三次迭代的结果比最初的结果更靠近真值，但是与真值之间的差距依然较大。这是因为有系统误差的影响(以后有专门的讨论)。因此，正确的置信区间还应该包含系统误差的贡献。如果把一些偏离期望值太大的测量去除，将有什么样结果？不好的观测2.5itnsΔ例如：要求000116.41198.06202.55()115.94197.58202.31(ˆˆˆ119.25200.652115.92197.5504.62(202.29110.39199.42196.)