极大似然法

第四章的极大似然法第1页共2页极大似然法（Maxlikelihoodfunction）原理：寻找未知参数的值，使得观测到给定样本值的概率尽可能大。分析：随机变量X的PDF是(,)fX，其中是未知参数，(,)fX的函数形式是已知的，比如正态分布、二项分布、泊松分布的概率密度函数。有n个随机样本12,,,nXXX则这n个随机样本的联合概率PDF为1212(,,,,)(,)(,),,(,)nngXXXfXfXfX寻找，使得12(,,,,)ngXXX达到最大值。似然函数：称联合PDF为似然函数，并记作12(,,,,)nLXXX。求解方法：解方程()0LogL例：X服从泊松分布（未知），12,,,nXXX为一随机样本，试用极大似然方法估计。解：似然函数12121212(,,,,)!!!!!!inXXXXnnnneeeeLXXXXXXXXX(!)iiLogLnXLogLogX()0iiXLogLnXn即的ML估计量为X。推导：12iiiYXu的极大似然估计假定12iiiYXu，其中iY正态且相互独立，其均值为12iX，方差为2，则12,,,nYYY的联合PDF为212122()2121(,,)2iiYXLe（因为如果2~(,)XN，其分布密度函数为221()21()2xfxe）第四章的极大似然法第2页共2页22121112222221212222()(,,)2()2iiiinnYXLogLnLognLogYXLogLog12211222212224()1()(1)0()1()()0()1()022iiiiiiiLogLYXLogLYXXLogLnYX前两个式即OLS的正规方程，所以12和的OLS估计量和ML估计量是相同的。第三个式子是2221211ˆ()iiiYXnn，是2的有偏估计量，不过它是2的一致估计量，所以也是2的一个很好的估计量。