4统计抽样与抽样分布抽样的基本概念抽样方法与误差抽样分布的概念样本均值的抽样分布样本比率的抽样分布本章的学习目的本章的学习目的是为了认识到通过样本推断总体的科学性。当总体元素非常多,或者检查具有破坏性时,需要进行抽样。抽样必定伴有某种程度的不确定性,需要用概率来表示其可靠程度,这是推断统计的重要特点。案例1936年美国总统选举的预测,民主党罗斯福VS共和党兰登。《文摘》邮寄了1000万份调查表;收回240万份,预测兰登获得57%的选票获胜。而盖洛普(Gallup)研究所仅仅随机抽取了2000多选民,预测罗斯福将得到54%的选票获胜。选举结果是罗斯福获得62%的选票获胜。此后,盖洛普研究所每年用1000~1500人的样本快速准确的预测选举,误差在2%之内。案例盖洛普公司的网站盖洛普民意调查举例:抽样的基本概念抽样调查,按照随机原则从全部研究对象中抽取一部分单位进行调查,并以调查结果对总体数量特征作出具有一定可靠程度的估计与推断,从而认识总体的一种统计方法。随机原则:指样本单位的抽取不受主观因素及其他系统性因素的影响,每个总体单位都有均等的被抽中机会。并非所有的抽样估计都按随机原则抽取样本,也有非随机抽样。总体随机样本非随机样本与总体分布特征相同与总体分布特征不同抽样的基本概念总体,要研究的调查对象的全体。个体,组成总体的每个元素。样本:从总体中随机抽取的部分个体。样本容量:样本中所含的个体数量。样本和总体(sample&population)视频教学应该随机吗?随机选择并非永远都是好主意,有时候我们无法对所有的人一视同仁,因为有的人或许更有资格。1.篮球比赛有400个座位,但有700个学生想要票,是否应该在学生中随机选取400人?2.等着换肝脏的病人,人数远超能用于移植的肝脏数目。在选择移植给谁时,应该完全用随机方式吗?3.越战期间,用抽签的随机方式,决定年轻男子谁上战场,这是最好的方式吗?观测研究和实验的区别观测研究,在只观测不干扰的情形下搜集信息。实验:会对个体做某件事情,然后观察个体如何反应。例:经常运动是否可以降低心脏病发作的风险?(观测研究和实验有什么不同,各自的优点)观测研究和实验的区别方法1:一位研究者找到2000名40岁以上的男士,他们都经常运动,也未曾发过心脏病,他为每个人“配”了一名各方面条件接近,但没有固定运动习惯的人,然后观察运动组和非运动组长达5年时间。方法2:另一位研究者找了4000名40岁以上的男士,他们都没有发作过心脏病,也愿意参加这项研究。他安排其中的2000人参加了一项有监督的定时运动计划,另外2000人依照原来的习惯不变,观察5年时间。(对于规律运动是否降低心脏病风险的问题,实验可以提供更多有用的信息)两种有偏的抽样方法方便抽样,在总体中选择最容易取得的个体。例如,从每箱桔子中拿上面的几个检查,但它们可能无法代表整箱桔子的情况。自发性回应样本:是经由对某一诉求的回应而自然形成的,会导致高度偏差。两种有偏的抽样方法自发性回应样本:例如,专栏作家Landers问读者:“如果可以重来一次,你还会要孩子吗?”她接到1万份答复,其中70%说不要。难道70%的父母都后悔了吗?通常对某个论题有强烈感觉的人,尤其是负面感觉,比较会不嫌麻烦地去回应。写信回应和电话回应,一定会导致高度偏差。随机原则的实现抽签法,是将总体中每个单位的编号写在外形完全一致的签上,将其搅拌均匀,从中任意抽选,签上的号码所对应的单位就是样本单位。随机数表法:将总体中每个单位编上号码,然后使用随机数表,查出所要抽取的调查单位。计算机模拟法:是将随机数字编制为程序存储在计算机中,需要时将总体中各单位编上号码,启用随机数字发生器输出随机数字。简单随机抽样大小为n的简单随机样本(SRS,simplerandomsample):使得总体中任一组n个个体,中选的概率相同。随机原则:用机遇选择样本。1.对每个个体指定一个数字代码;2.用随机数表选取。随机数表(部分)用Excel表生成随机数你玩乐透吗?盖洛普研究所曾抽取了一个1523人的样本,其中有868人在过去的12月中买了乐透,对于这个样本的比率:如果取1000个样本呢?ˆp=8681523=0.5757%()大样本的变异性比小样本小估计时的两种误差偏差:统计量一直朝一个方向偏离总体的参数值;(瞄准有问题)变异性:取很多样本时,统计量的值会离散到什么程度。如果变异性大,说明不同样本的结果可能差别很大。(技术不稳定)一个好的抽样方法,应该要有小偏差、小变异性。(象神射手一样)两种误差如何处理误差减低偏差:利用随机抽样,用SRS的统计量来估计总体参数。降低SRS的变异性:只要样本足够大。误差界限一个随机样本的结果,不会刚好估计出总体的真正值。所以,用误差界限,表达我们的估计值距离真正值有多远。95%的置信度:所有样本中,有95%计算出的统计量距离真正值的确有那么近,但是另外的5%,距离真正值就超过误差界限了。误差界限速算法用大小为n的随机样本,对应95%置信度的误差界限,大致为。盖洛普调查的1523人,对应的误差界限为盖洛普当时公布的误差界限是3%对于100人的样本的误差界限是多大?1n11523=139.03=2.6%置信叙述盖洛普对于乐透彩票购买情况所做的结论:精简版:调查发现57%的美国成年人在过去12个月中曾购买彩票。我们有95%的信心,所有美国成年人购买彩票的真正比例,在这个样本结果的正负3个百分点之内。超精简版:我们有95%的信心,所有美国成年人中,有54%-60%曾在过去12个月里买过彩票。抽样的误差问题抽样误差:用于抽样的随机性所带来的误差,是一种固有误差。非抽样误差:调查过程中发生的误差,以及由于主观因素破坏了随机性原则而产生的系统性偏差,是可以避免的。抽样误差167CM169CM172CM160CM162CM167CM175CM180CM165CM167CM170CM175CM178CM180CM162CM173CM155CM160CM170CM165CM平均身高=169.8CM平均身高=174.6CM总平均身高=168.6CM随机抽样设计不同的抽样方式,对抽样结果有很大影响,根据研究目的和要求,以及具体情况选择抽样方式;简单随机抽样、等距抽样、类型抽样、整群抽样、多阶段抽样等。即便是最好的统计学家,也做不到最正确的抽样方法。分层抽样的问题一所大学中有30000个学生,其中3000个是研究生。如果要抽取一个500名学生的SRS,每个学生被抽中的概率是相同的(1/60)。如果预期在SRS中有10%研究生,只有50人,样本不够大,无法精确估计研究生的意见。所以,用包含200研究生,300大学生的分层样本比较好。那么,如何来选取这个分层的SRS?抽样分布在讨论抽样分布之前,需要回顾以下一些与概率分布有关的概念:随机变量、离散型随机变量及其概率分布、连续型随机变量及其概率分布。概率密度函数。随机变量(RandomVariable)随机变量是表征一个随机试验结果的变量,其数值由一次试验结果所决定,但是在试验之前是不确定的。随机变量的所有可能取值就是所有基本事件对应的值。通常用英文大写字母或希腊字母表示。离散型、非离散型、连续型。随机变量(RandomVariable)离散型随机变量:投掷骰子;非离散型随机变量:某路口24小时内经过的车辆;连续型随机变量:灯泡寿命。离散型随机变量离散型随机变量的取值域由有限个或可数多个数值或符号组成。其概率是指离散型随机变量(X)取一个具体数值(x)的概率,即P(X=x)。离散型随机变量的概率分布是指离散型随机变量取遍每一个实验结果x的概率的分布情况,常用列表表示,如下表。离散型随机变量X的取值x123456X的概率P(X=x)1/61/61/61/61/61/600.10.20.30.40.5123456连续型随机变量连续型随机变量的取值域为一个连续区间。只有在(连续的)区间上取值时,其概率才可能为正值,连续型随机变量在任何一点上的概率都为零。1)(021xXxP)(21xx0)()(21xXPxXP概率密度函数连续型随机变量的概率密度函数f(x)xduufxXPxF)()()()()(xFxf概率密度函数的含义:曲线f(x)下任何一个区间的面积,等于随机变量X在该区间取值的概率。最常见的连续型随机变量的概率分布正态分布(P40)。若随机变量x的概率密度函数,21)(222)(xexfx),(~2NX记为最常见的连续型随机变量的概率分布标准正态分布:1,02标准正态分布XZZ分数标准正态分布的计算)(1)(zz)()()(abbZaP1)(2)(aaZ95.0)96.1(Z99.0)58.2(Z90.0)645.1(Z例:设随机变量XN(0,1),求下列概率:(1)P(X0);(2)P(X2.77);(3)P(X1);(4)P(-1.80X2.45).(1)查正态分布数值表,当x=0时,对应的(x)=0.5(2)查正态分布数值表,当x=2.77时,对应的(x)=0.9972,所以P(X0)=0.5所以P(X2.77)=0.9972(3)因为P(X1)=1-P(X1)=1-(1)查正态分布数值表,(1)=0.8413所以P(X1)=1-(1)=0.1587例:设随机变量XN(0,1),求下列概率:(1)P(X0);(2)P(X2.77);(3)P(X1);(4)P(-1.80X2.45).(4)因为P(-1.80X2.45)=(2.45)-(-1.80)=(2.45)-[1-(1.80)]查正态分布数值表,(2.45)=0.9929,(1.80)=0.9641,所以P(-1.80X2.45)=0.9929-[1-0.9641]=0.9570.正态分布的计算-例题某厂生产的某种节能灯管使用寿命服从正态分布,对某批次产品的测试结果,平均使用寿命为1050小时,标准差为200小时。求:1.使用寿命在500小时以下的灯管占多大比例?2.使用寿命在850~1450小时的灯管所占比例?3.以均值为中心,95%的灯管使用寿命的范围?68.27%95.45%99.73%),(~2nNxm+sm+2sm+3sm-2sm-sm-3s视频:经验法则,经验法则的另一个例题正态分布的练习(Z分数)(1)把两个人的分数表示成Z分数,可以看出两位女士在各自的年龄组中居于什么位置。(2)相对于自己的年龄组,莎拉和母亲谁的IQ高?相对于测量值,莎拉和母亲谁的IQ高?XZ关于智商的问题斯坦福-比奈(Stanford-Binet)智力量表:1986年公布第四次修订版。量表共包含15个分测验,可以评定4个认知领域,即言语推理、抽象/视觉推理、数量推理和短时记忆。网页链接韦氏(Wechsler)智力量表:医院使用。门萨智力测试:适用于高智商和高学历人群。百度百科链接什么是抽样分布?如果要估计总体的均值;是用样本平均值,还是用中位数m?还是掷骰子,总体均值第一次,2,2,6,m=2,第二次,3,4,6,m=4,可见,不能仅仅根据一个样本去比较是和m样本统计量本身是随机变量,抽样分布就是由样本n个观察值计算的统计量的概率分布。x5.333.3x33.4xx样本均值的抽样分布一个总体1,2,3,4.重复抽样方法,先抽一个,放回,再抽一个。样本均值的抽样分布x样本均值的抽样分布有放回(withreplacement)抽样12341{1,1}1{2,1}1.5{3,1}2{4,1}2.52{1,2}1.5{2,2}2{3,2}2.5{4,2}33{1,3}2{2,3}2.5{3,3}3{4,3}3.5