多元正态分布的参数估计(精)

第二章多元正态分布的参数估计第一节引言第二节基本概念第三节多元正态分布第四节多元正态分布的参数估计第五节多元正态分布参数估计的实例与计算机实现第一节引言多元统计分析涉及到的都是随机向量或多个随机向量放在一起组成的随机矩阵。例如在研究公司的运营情况时，要考虑公司的获利能力、资金周转能力、竞争能力以及偿债能力等财务指标；又如在研究国家财政收入时，税收收入、企业收入、债务收入、国家能源交通重点建设基金收入、基本建设贷款归还收入、国家预算调节基金收入、其他收入等都是需要同时考察的指标。显然，如果我们只研究一个指标或是将这些指标割裂开分别研究，是不能从整体上把握研究问题的实质的，解决这些问题就需要多元统计分析方法。为了更好的探讨这些问题，本章我们首先论述有关随机向量的基本概念和性质。在实用中遇到的随机向量常常是服从正态分布或近似正态分布，或虽本身不是正态分布，但它的样本均值近似于正态分布。因此现实世界中许多实际问题的解决办法都是以总体服从正态分布或近似正态分布为前提的。在多元统计分析中，多元正态分布占有很重要地位，本书所介绍的方法大都假定数据来之多元正态分布。为此，本章将要介绍多元正态分布的定义和有关性质。然而在实际问题中，多元正态分布中均值向量和协差阵通常是未知的，一般的做法是由样本来估计。这是本章讨论的重要内容之一，在此我们介绍最常见的最大似然估计法对参数进行估计，并讨论其有关的性质。第二节基本概念一随机向量二多元分布三随机向量的数字特征一、随机向量我们所讨论的是多个变量的总体，所研究的数据是同时p个指标（变量），又进行了n次观测得到的，我们把这个p指标表示为X1，X2，…，Xp，常用向量X=(X1，X2，…，XP)'表示对同一个体观测的p个变量。这里我们应该强调，在多元统计分析中，仍然将所研究对象的全体称为总体，它是由许多（有限和无限）的个体构成的集合，如果构成总体的个体是具有p个需要观测指标的个体，我们称这样的总体为p维总体（或p元总体）。上面的表示便于人们用数学方法去研究p维总体的特性。这里“维”（或“元”）的概念，表示共有几个分量。若观测了n个个体，则可得到如表2.1的数据，称每一个个体的p个变量为一个样品，而全体n个样品组成一个样本。表2.1数据变量序号1X2XpX111X12X1pX221X22X2pXn1nX2nXnpX在这里横看表2.1，记为()12(,,,)pXXXX，1,2,,n表示第个样品的观测值。竖看表2.1，第j列的元素12(,,,)jjjnjXXXX，1,2,,jp表示对第j个变量jX的n次观测数值。因此，表2.1所反映出的样本资料可用矩阵表示为11121(1)21222(2)1212()(,)pppnnnpnXXXXXXXXX，，XXXXXXX（2.1）简记为X。定义2.1将p个随机变量12,,,pXXX的整体称为p维随机向量，记为12(,,,)pXXXX。在对随机向量的研究仍然限于讨论离散型和连续型两类随机向量。二、多元分布先回顾一下一元统计中分布函数和密度函数的定义。设X是一个随机变量，称()()FxPXx为X的概率分布函数或简称为分布函数，记为~()XFx。若随机变量在有限或可列个值kx上取值，记()kkPXxp，(1,2,)k且1kkp，则称X为离散型随机变量，称()kkPXxp，(1,2,)k为X的概率分布。设~()XFx，若存在一个非负函数)(xf，使得一切实数x有：()()xFxftdt，则称)(xf为X的分布密度函数，简称为密度函数。一个函数)(xf能作为某个随机变量X的分布密度函数的重要条件是：（1）0)(xf，对一切实数x；（2）1)(dxxf。定义2.2设12(,,,)pXXXX是p维随机向量，它的多元分布函数定义为121122()(,,,)(,,,)pppFFXXXPXxXxXxx（2.2）记为~()FXx，其中12(,,,)ppxxxRx，pR表示p维欧氏空间。多维随机向量的统计特性可用它的分布函数来完整地描述。定义2.3设12(,,,)pXXXX是p维随机向量，若存在有限个或可列个p维数向量12,,xx，记()kkPXxp，(1,2,)k且满足121pp，则称X为离散型随机向量，称()kkPXxp，(1,2,)k为X的概率分布。设12~()(,,,)pFFxxxXx，若存在一个非负函数),,,(21pxxxf，使得对一切12(,,,)ppxxxRx有112121()(,,,)(,,,)pxxpppFxFxxxftttdtdt（2.3）则称X为连续型随机变量，称),,,(21pxxxf为分布密度函数，简称为密度函数或分布密度。一个p元函数),,,(21pxxxf能作为pR中某个随机向量的密度函数的主要条件是：（1）0),,,(21pxxxf，ppRxxx),,,(21；（2）1),,,(121ppdxdxxxxf离散型随机向量的统计性质可由它的概率分布完全确定，连续型随机向量的统计性质可由它的分布密度完全确定。【例2.1】试证函数其它,00,0,),(21)(2121xxexxfxx为随机向量12(,)XXX密度函数。证：只要验证满足密度函数两个条件即可（1）显然，当0,021xx时有0),(21xxf（2）1212()()121200xxxxedxdxedxdx12()1200xxedxdx220xedx102xe定义2.4设12(,,,)pXXXX是p维随机向量，称由它的)(pq个分量组成的子向量12()(,,,)qiiiiXXXX的分布为X的边缘（或边际）分布，相对地把X的分布称为联合分布。通过变换X中各分量的次序，总可假定(1)X正好是X的前q个分量，其余qp个分量为(2)X，则(1)(2)qpqXXX，相应的取值也可分为两部分(1)(2)xxx。当X的分布函数是12(,,,)qFxxx时，(1)X的分布函数即边缘分布函数为：1211(,,,)(,,)qqqFxxxPXxXx111(,,,,,)qqqpPXxXxXX12(,,,,,,)qFxxx当X有分布密度),,,(21pxxxf时（亦称联合分布密度函数），则(1)X也有分布密度，即边缘密度函数为：pqpqdxdxxxfxxxf,,),,(),,,(11211【例2.2】对例2.1中的12(,)XXX求边缘密度函数。解：2211),()(dxxxfxf121()210,00,xxxedxex＝其它同理其它＝,00,)(222xexfx定义2.5若p个随机变量12,,,pXXX的联合分布等于各自的边缘分布的乘积，则称12,,,pXXX是相互独立的。【例2.3】问例2.2中的1X与2X是否相互独立？解：其它＝,00,0,),(21),(2121xxexxfxx其它＝,00,)(1111xexfxx其它＝,00,)(2222xexfxx由于121212(,)()()xxfxxfxfx＝，故1X与2X相互独立。这里我们应该注意，由12,,,pXXX相互独立，可推知任何iX与jX)(ji独立，但反之不真。三、随机向量的数字特征定义2.6设12(,,,)pXXXX，若()(1,,)iEXip存在且有限，则称12()((),(),,())pEEXEXEXX为X的均值（向量）或数学期望，有时也把()EX和()iEX分别记为μ和i，即12(,,,)pμ，容易推得均值（向量）具有以下性质：（1）()()EEAXAX（2）()()EEAXBAXB（3）()()()EEEAXBYAXBY其中，X、Y为随机向量，A、B为大小适合运算的常数矩阵。定义2.7设12(,,,)pXXXX，12(,,,)pYYYY，称()(())(())DEEEXXXXX111212122212(,)(,)(,)(,)(,)(,)(,)(,)(,)ppppppCovXXCovXXCovXXCovXXCovXXCovXXCovXXCovXXCovXX（2.4）为X的方差或协差阵，有时把()DX简记为Σ，(,)ijCovXX简记为ij，从而有()ijppΣ；称随机向量X和Y的协差阵为()(())(())CovEEE,XYXXYY111212122212(,)(,)(,)(,)(,)(,)(,)(,)(,)ppppppCovXYCovXYCovXYCovXYCovXYCovXYCovXYCovXYCovXY（2.5）当=XY时，即为()DX。若()Cov,0XY，则称X和Y不相关，由X和Y相互独立易推得()Cov,0XY，即X和Y不相关；但反过来，当X和Y不相关时，一般不能推知它们独立。当A、B为常数矩阵时，由定义可以推出协方差阵有如下性质：（1）对于常数向量a，有()()DDXaX（2）()()DDAXAXAAΣA（3）(,)(,)CovCovAXBYAXYB（4）设X为n维随机向量，期望和协方差存在，记()EμX，()DΣX，A为nn常数阵，则()()EtrXAXAΣμAμ这里我们应该注意到，对于任何的随机向量12(,,,)pXXXX来说，其协差阵Σ都是对称阵，同时总是非负定（半正定）的。大多数情况是正定的。若12(,,,)pXXXX的协差阵存在，且每个分量的方差大于零，则称随机向量X的相关阵为()()ijppCorrRX，其中(,)()()ijijijijiijjCovXXDXDXpji,,1,（2.6）为iX与jX的相关系数。在数据处理时，为了克服由于指标的量纲不同对统计分析结果带来的影响，往往在使用各种统计分析之前，常需要将每个指标“标准化”，即进行如下变换*()()jjjjXEXXDX，1,,jp（2.7）那么由（2.7）构成的随机向量****12(,,,)pXXXX。令，1122(,,,)ppdiagC，有：*1(())EXCXX那么，标准化后的随机向量*X均值和协差阵分别为*11()[(())][(())]0EEEEEXCXXCXX*1111111()[(())][(())]()DDEDEDXCXXCXXCCXCCΣCR即标准化数据的协差阵正好是原指标的相关阵。第三节多元正态分布一多元正态分布的定义二多元正态分布的性质一、多元正态分布的定义我们先来回顾一元正态分布的密度函数，即为22()21(),02xfxe上式可以改写为211/221/211()exp()()()(2)()2fxxx（2.8）由于（2.8）式中的x，均为一维的数字，可以用()x代表()x的转置。根据上面的表述形式，我们可以将其推广，给出多元正态分布的定义。定义2.8若p维随机向量12(,,,)pXXXX的密度函数为：1212/211(,,,)exp()()2(2)ppfxxx-1-Σ-xμxμΣ（2.9）其中12(,,,)pxxxx，μ是p维向量，Σ是p阶正定阵，则称X服从p元正态分布，也称X为p维正态随机向量，简记为~(,)PNXμΣ，显然当1p时，即为一元正态分布密度函数。可以证明μ为X的均值（向量），Σ为X