计量经济学2概率统计基础

计量经济学Lecturer：王振宏Email:[e-mail]:13634256189OfficeAddress：北7-1203D第2章概率统计基础第2章概率统计基础计量经济学分析的变量多是随机变量，模型都有随机误差项介绍计量经济分析的概率统计基础知识内容提要1随机性与概率2随机变量和概率分布3参数估计和假设检验第一节随机性和概率一、计量经济分析、随机性和概率二、概率的频率定义三、概率的古典定义四、概率的公理化定义五、概率的性质六、条件概率和统计独立性一、计量经济分析、随机性和概率（一）计量经济分析和随机性随机性指事物的结果、水平不能完全事先确定计量经济分析的对象必然有随机性，随机性是计量经济模型的根本特征之一来源：行为随机性、模型简化、观测统计误差随机变量，随机误差项，计量经济模型是随机模型、随机变量模型。随机性是计量经济分析的矛盾焦点，也是计量经济学产生发展的原因（二）随机性和概率随机事物比确定性事物难以预测和把握但随机性和随机事物并不是无规律。表面偶然性背后有内在必然性——随机事物或者其特定结果发生的可能性大小，“概率”（Probability）。概率由随机事物本身特征决定概率是描述、分析和利用随机事物的关键研究概率的几种主要方法——概率的频率定义、古典定义和公理化定义二、概率的频率定义概率定义：伯奴里大数定律（法则）的支持（P48）)(lim)(AFAPNn三、概率的古典定义（一）随机试验和样本空间随机试验、样本点、基本事件、样本空间随机事件——样本点组合，性质同集合（交、并、和、等价、包含、逆、互斥、差、完备事件组）（二）古典概型和概率的古典定义古典概型——三个特征：有限结果、互不相容、等可能nmnnAP11)(样本点总数包含的样本点个数A古典概型局限性：（1）古典概型要求试验的可能结果总数有限，又要求某种等可能性（2）推广到几何概率时还会导致一些矛盾（几何概率不是结果数量有限，而是范围、测度有限）四、概率的公理化定义柯尔莫哥洛夫（Kolmogorov）（1933年）在集合论和测度论的基础上建立了概率论公理体系。克服古典定义的缺陷（一）事件和事件域柯尔莫哥洛夫概率论公理化体系：基本概念是样本点，不是事件。样本点相应于随机试验的结果。样本点看作抽象的点，它们的全体构成样本空间，仍用表示。事件定义为的一个子集，它包含若干个样本点，事件发生当且仅当A所包含的样本点中有一个发生事件域就是由全体事件构成的集类，我们用F表示。一般要求F满足下列三个要求：（i）F；（ii）若F，则F；（iii）若F；，则F。AAnA,2,1nnnA1满足这三点集类称“-域”或“-代数”事件域F就是定义在样本空间的-域和都包含在F中。（二）概率定义概率是从事件（也是集合）到实数的映射，是一种集合函数。[定义]：对事件域F中的每个元素A，概率是定义在事件域F上，满足如下三个条件的集合函数：（i），对一切F；非负（ii）完备（iii）若F，，且两两互不相容，则完全可加、可列可加)(AP0)(APA1)(PiA,2,1i11)()(iiiiAPAP五、概率的性质：P29六、条件概率和统计独立性（一）条件概率已知B发生的条件下，事件A发生的概率，称为A以B为条件的“条件概率”。性质：非负、规范、可列可加等（P31）)(BAP)()(BPABP)()()(BAPBPABP)()()()()(12121312121nnnAAAAPAAAPAAPAPAAAP条件概率的含义：贝叶斯定理。在具体行动之前，无论决策如何制定，在结果的证据收集并确认后，决策时可以改变的。例如：某人认为A超市东西比B超市便宜（二）全概率公式和贝叶斯公式是样本空间的一个完全分割，即两两互不相容。那么由概率完全可加性和乘法定理得——全概率公式11)()()()(iiiiiABPAPBAPBPiA贝叶斯公式若能且只能与之一同时发生，那么1)()()()()()()()(iiiiiiiiABPAPABPAPBPABPAPBAPB,,,,21nAAA（三）事件独立性对事件A和B，若则称它们是“统计独立的”。可扩展到更多事件的独立性若事件A和B独立，则)()()(BPAPABP)()(APBAP第二节随机变量和概率分布在概率统计和计量经济分析中，人们更关心的是有随机性的经济指标水平，都是数量化的随机事件。例如某时刻的股票价格，某天某银行吸收的存款数量，某商场某月的销售额，某商品的市场价格水平等。一、随机变量及其概率分布（一）随机变量（二）概率分布（三）分布函数（四）密度函数（五）随机变量函数的概率分布（一）随机变量数量化的随机事件通常称为“随机变量”（Randomvariable）随机变量是从样本空间扩张而成的-域到实数集的函数。随机变量也可以是通过对定性事件的数量化转化而得到。“离散型随机变量”和“连续型随机变量”。（二）概率分布随机变重要的是它们取特定值的可能性，称为随机变量的“概率分布”（Probabilitydistribution）。离散型随机变量只能取有限或可数个值，概率分布可以用罗列、表格、图形表示等。连续要用分布函数。（三）分布函数连续型随机变量可能取值无穷多，每个值取到概率无穷小，无法用罗列概率方法表达研究。只能用反映随机变量取特定范围值可能性大小的“分布函数”（Distributionfunction），也称“累积分布函数”（Accumulateddistributionfunction）描述研究。分布函数——随机变量取值不大于给定水平的概率构成的函数：)()(xPxFx离散型随机变量分布函数随机变量的分布函数有如下性质（P35）已知随机变量的分布函数就知道了随机变量在任何区间上取值的概率，分布函数完整地描述了随机变量的情况，掌握分布函数就等于掌握了随机变量的随机性规律。kiipxPxF1)()(（四）密度函数连续型随机变量概率分布另一个概念，“密度函数”（Densityfunction）或称“概率密度函数”。密度函数密度与分布函数关系dttfxFx)()()(xf（五）随机变量函数的概率分布如果是随机变量的函数设的分布函数为，则的分布函数为)()(xF)(xyydFxG)()()(xxkkpxG)()(xydyyfxG)()()(二、多元分布和条件分布（一）随机向量和多元分布“随机向量”概念研究一组有关联的随机变量一个n个分量的随机向量随机向量的“多元分布”。“联合分布函数”——两个或多个随机变量取一组特定值的概率分布随机变量边际分布),,(1n),,(),,(111nnnxxPxxF),,(11,,mmiiiixxF),,,,,,,,(1miixxF（二）条件分布和随机变量的独立性条件分布随机变量的相互独立性)()(BxPBxF)()()()(yxPyxFyxFBxF)()(),,(111nnnxFxFxxF三、概率分布的数字特征（一）期望（二）方差（三）期望和方差的性质（四）条件期望和全数学期望（五）高阶矩（六）协方差和相关系数四、常见分布（一）正态分布（二）分布（三）t分布（四）F分布2（一）正态分布取值于（）的连续分布正态分布完全由期望和方差决定分布密度函数——数学期望——方差正态分布记为,222)(21)(xexf2),(2N正态分布是以数学期望为中心的对称分布正态分布密度函数具有“钟形”特征95%左右集中分布在期望加减2倍标准差范围99%以上集中在期望加减3倍标准差范围内正态分布偏度为=0正态分布密度函数有常峰态，峰度接近32323)(E224)(E一般正态分布随机变量变换成“标准正态分布”密度函数)1,0(N2221)(xex判断正态分布根据密度函数的形态进行判断：用频数直方图的上方边缘作为密度函数的近似，判断随机变量是否服从正态分布。根据偏度、峰度特征检验：利用观测样本计算三阶矩和四阶矩的近似值（与后面讲的抽样分布有关），偏度和峰度近似值，如果接近0和3，则认为随机变量服从正态分布，也称“通过了正态性检验”。（二）分布标准正态分布随机变量的平方所服从的分布。取值范围是（），显然是非对称分布。数学期望等于自由度，方差为22kk,0（三）t分布设服从标准正态分布服从自由度为的分布则随机变量服从自由度为的t分布t分布概率密度函数形态类似标准正态分布方差为，比标准正态分布平坦，尾部厚Xk2kXt/k)2(kk（四）F分布服从自由度的分布，服从自由度的分布，相互独立，那么随机变量服从的分布称为有两个自由度和的F分布记为1X1k222X2k2211kXkXF),(21kkF1k2k五、随机变量的收敛性和极限理论（一）随机变量的收敛性大量随机变量之和的概率分布是通过随机变量序列极限分布表现的，极限定理的基础是随机变量序列的收敛性。随机变量序列的收敛性与一般变量不同，是概率、概率分布或者分布特征的收敛性，有依分布收敛和依概率收敛等。不同的收敛性定义将导致不同的极限定理。分布函数弱收敛：对于分布函数序列{}（为了简单起见，常常直接写成），如果存在函数使得在的每个连续点上都成立，则称“弱收敛于”。)(xFn)(xFn)(xF)()(limxFxFnn)(xF)(xF)(xFn依分布收敛：设随机变量序列{}的分布函数序列为{}，随机变量的分布函数为，如果弱收敛于，则称“依分布收敛于”。nn)(xFn)(xF)(xF)(xFn依概率收敛：对于随机变量序列{}和随机变量，如果或对任意的成立，则称“依概率收敛于”。有时候也称的“概率极限”是，并可记为n0}{limnnP1}{limnnP0nnnnlimp（二）大数法则伯奴利大数定理（P48）独立同分布场合的大数定律（P48）（三）中心极限定理独立同分布场合的中心极限定理（P49）非独立同分布场合的中心极限定理（P49）第三节参数估计和假设检验随机变量取值往往无穷多，不可能通过全面调查了解总体分布，只能根据从总体抽取的部分样本推断总体情况。这称为“统计推断”，包括参数估计和假设检验等。计量经济分析的观测数据相当于随机变量总体抽取的样本，计量经济的回归分析就是根据样本推断总体情况，因此计量经济分析与统计推断有非常密切的联系。计量经济分析的样本不是按标准抽样方法抽取，是通过受客观条件限制的观测得到，推断分析的难度更大。一、随机抽样和抽样分布（一）随机抽样和样本统计量样本、抽样、样本统计量抽样：一般随机、重复等样本统计量：样本均值样本方差niiXnX11niiXXnS122)(11（二）抽样分布1、正态总体小样本分布，样本均值、方差的分布，样本线性函数的分布2、一般总体的大样本抽样分布——中心极限定理与渐近正态分布二、参数估计（一）最大似然估计（二）矩估计（三）最小二乘估计（四）估计量的性质（五）参数估计方法的归纳和比较（一）最大似然估计（Maximumlikelihoodestimates，ML）基本原理：随机变量的分布参数水平在数据生成过程中起着作用，不同参数水平生成特定数据集的可能性不同，可以根据生成样本的可能性大小估计参数水平。——根据事物出现的概率（几率、可能性）的大小推断参数水平。如：一个老战士和一个军训学生各射击一次，但只有一枪中靶。问可能是谁打中的。最大似然估计的核心是似然函数（Likelihoodfunction）。样本同时出现的联合概率密度对数似然函数nikixf11),,,(),