点估计方法[1]

•参数点估计参数点估计是对参数取哪一个值作出估计．定义：设总体的分布已知，但其中含有未知参数（可以是一个向量），点估计就是依据某种原理，根据样本来构造统计量（可以是一个向量）作为的估计量，记为T12ˆ(,,,)nTXXX•当样本取定一个观察值时，估计量也有一个值，这个值称为估计值，不同的抽样，有不同的估计值，它与真值会有差异，这种差异除了抽样带来的误差外，与估计量的形式有关．因此，选取统计量也是非常重要的．我们介绍两种统计量的方法：矩法与极大似然法•矩法估计假设样本为简单随机样本，则由大数定律，有12,,,kkkknXXXX独立同分布,且与总体的分布相同11lim()nkkiniXEXn•其中当n比较大时11nkiiXkn为样本阶原点矩()kEXk为总体阶原点矩11()nkkiiXEXn•利用这种近似相等关系的思想，得到矩法估计的定义．定义：用样本原点矩去代替总体相应的原点矩得到的参数的估计量的方法称为矩法，称这种估计为矩法估计量．•例设总体，其中a,b为未知参数，现从中抽取一个样本观察值（２,3,2,4,3),试用矩法估计a,b的值．解：~(,)XUab•先求估计量，由矩法得方程组由于122211()1()niiniiXXEXnAXEXn222(),()23abaabbEXEX•注意到解得：222BAX22ˆ3ˆ3aXBbXB•我们计算得到这样得到a,b的估计值是22.8,0.56xbˆ1.5ˆ4.1ab•例设总体Ｘ的分布密度为其中为未知参数，现从中抽取一个样本，试求的矩法估计量．解：1||(;)exp()2xfx•由于故令得到估计量通常我们是采用下面的方法22()0()2EXEX与参数无关,222A2ˆ2A•另解我们可认为而由矩法，我们令得到12(||,||,,||)||nXXXX为的一个样本(||)EX11||(||)niiXEXn11ˆ||niiXn•极大似然估计极大似然估计是利用小概率原理作出估计的．小概率原理：一个概率非常小的一个事件在一次试验中几乎是不可能发生的；也就是说，如果一个事件在一次试验中居然发生了，那么这个事件发生的概率不可能很小，而应认为其概率会尽可能地大．•例设总体，现从中抽取一个样本观察值（500,300,600,400,700),试估计的值．解：~()XP•这里，n是5，设为样本，在一次试验中事件发生了，而125(,,,)XXX125{500,300,,700}XXX1255003007005007005{500,300,,700}500!300!700!500!700!PXXXeeee是参数的函数，由小概率原理，这个概率不会太小，应尽可能大，即求这个概率的最大值．利用求导可得到当时，这个概率达到最大．因此，我们有理由认为参数为500.这就是极大似然估计．500•一般地，当总体为离散型总体，其分布中含有未知参数（可以是向量），为一个样本，为一次观察值，称为似然函数．12(,,,)nXXX12(,,,)nxxx121122(,,,;){,,,}nnnLxxxPXxXxXx•称对数似然函数．称满足的为极大似然估计值，记为1212(,,,;)ln(,,,;}nnlxxxLxxx1212ˆ(,,,;)max(,,,;}nnLxxxLxxxˆ12ˆ(,,,)nxxx而称为极大似然估计量．简称ＭＬ估计．上例的一般情况是12ˆ(,,,)nXXX例：设总体Ｘ服从参数为的泊松分布，求的极大似然估计．解：总体Ｘ的分布为似然函数为{}!xPXxex1212112(,,,;)!1!!!inxnniixxxnnLxxxexexxx对数似然函数为这两个函数的极值点相同，对对数似然函数求导，并令其为０，得121212(,,,;)()ln()ln(!!!)nnnlxxxxxxnxxx得到从而极大似然估计为121()0nxxxn121ˆ()nxxxxn121ˆ()nXXXXn当总体是连续型总体时,我们定义似然函数为对数似然函数为12121(,,,;)(,,,;)(;)nnniiLxxxfxxxfx1212(,,,;)ln(,,,;)nnlxxxLxxx•例设总体，试求的极大似然估计.解：~()XE•解:似然函数为对数似然函数为121(,,,;)iinxnixnLxxxee12(,,,;)ln()nilxxxnx•对求导并令其为0,得从而解得的极大似估计0inx1ˆinxx1ˆX•例设总体，其中a,b为未知参数，试求a,b的极大似然估计．解：总体Ｘ的分布密度~(,)XUab1()0axbfxba其它•似然函数为此函数没有极值,它在边界上取得最大值.由于1212(,,,;,)1,,,,()nnnLxxxabaxxxbba1212,,,,,,nnaxxxxxxb•(),,ˆmin,ˆmaxiniabbaLaXXbXX(1)直观上,越大越小的值越小从而的值就越大.因此=•注若总体，其中b为未知参数，则b的极大似然估计为若总体，其中a为未知参数，则a的极大似然估计为~(0,)XUb()ˆmaxnibXX~(,1)XUa(1)ˆminiaXX•极大似然估计的数值解极大似然估计需要求似然方程(组)的解,但在大多数情况下,似然方程的解往往没有解析表达式.这时需要利用数值方法来求方程(组)的近似解.通常采用迭代求解,如课本上介绍的Newton-Raphson算法（见教材P27-29）