9 随机数检验

9、随机数检验求检验统计量的基本方法1、概率论中的中心极限定理2、概率统计中的皮尔逊卡方检验拟合性检验——概率密度函数1、卡方检验2、柯尔莫哥洛夫—斯米尔诺检验（K-S检验）3、正态性检验：直方图、正态概率纸、卡方检验、K-S检验、夏皮罗—威尔克法独立性检验——白噪声1、自相关函数估计：定义法（时域法）、间接法（频域法）2、功率谱密度估计：直接法（周期图法）、间接法（按定义）、现代谱估计方法3、不相关性检验相关性检验——色噪声1、比值法2、求差法2020/6/28哈尔滨工业大学电子工程系2求检验统计量的基本方法在假设检验中，最困难的一步是寻找检验统计量T及其分布。在很多情况下，我们只能找到T的渐近分布（即样本量趋于无穷时的极限分布）。由样本寻找T及其渐近分布的两个基本方法：概率论中的中心极限定理程兴新等编著，统计计算方法，北京大学出版社，1989年设,...,21是互相独立的随机变量序列，且uEi，2iD(,...2,1i)。则)(]1[1nunnii的渐近分布是N(0,1)即)1,0(~)()(NDE渐近。在一定条件下，当n很大时，独立的随机变量的和服从正态分布),(DEN，即构造T的办法就是对一些独立的随机变量求和。求检验统计量的基本方法概率统计中的皮尔逊卡方检验程兴新等编著，统计计算方法，北京大学出版社，1989年2020/6/28哈尔滨工业大学电子工程系3设N,...,,21是互相独立同分布的随机变量序列，将它们按一定规则分为互不相交的k组，记落入第i组的样本个数为in(ki,...,2,1)。若已知样本落入第i组的概率为ip，并令iiNpm，则有kiiiimnmx122)(~渐近)1(2lk，式中l是对分布ip的附加约束条件的个数，即计算总体理论频数时需估计参数的个数。此法步骤：1、将独立同分布的随机序列分组。2、求样本落入各组的概率。3、构造2x及自由度1lk。χ2检验1、算法原理拟合性检验2020/6/28哈尔滨工业大学电子工程系42检验是关于试验频数与理论频数有无显著差异的检验，即检验直方图与所拟合的理论密度函数之间的差异是否显著。将所拟合的分布的取值范围分为k个区间：],[10aa、],[21aa、…、],[1kkaa。若取值范围为),(，则取第一区间为],(1a，最末区间为),[1ka。设N点数据1x，2x，…，Nx落入第i个区间的频数为iM，所选择的理论分布在第i个区间取值的概率为ip，即理论频数iiNpT，则kiiiikiiiiNpNpMTTM12122)()(当N时)1(~22lk，l为用数据估计参数个数。此法关键在于选择子区间数，它与数据、样本容量、所拟合的概率分布等有关。χ2检验2、子区间划分原则拟合性检验小组数k的分法：A、分组区间等宽，每个区间的期望频数不等（均匀分布除外）；——直方图、核函数估计B、分组区间不等宽，每个区间提供相等的期望频数（均匀分布除外），则每个等概子区间的分界点为)(1kiF，其中k为子区间数，ki,...,2,1,0，)(1F为所选理论分布函数的反函数。——近邻估计为使检验无偏，应采用等概子区间，每个子区间的经验频数不要太少，至少要大于5，子区间数不要少于5，也不要多于30-40。对于离散分布，不可能使每个离散取值点上的概率相等，但可以据max)(ip分组，使每个子区间里各离散点取值概率之和大致相等。max)(1ipk，区间分界点可据理论分布大致确定。2检验一般只在渐近意义上成立，适用于大样本情况。2020/6/28哈尔滨工业大学电子工程系62020/6/28哈尔滨工业大学电子工程系6χ2检验3、等概率χ2检验的实现拟合性检验等概率2检验有两种实现思路：⒈将样本先进行排序，从小到大，然后与分界点相比较，统计落入每个子区间的数据个数；⒉据序列值x求得其对应的概率值F(x)，再由概率值判断数据应属于哪一个子区间，因为等概子区间的数据在概率上对应的子区间是相等的，便于统计。考虑到求概率一般比较困难，且数据量大时更费时，优先采用第一种思路。排序算法有许多，如冒泡法、快速法、希尔法、堆法、桶法、基数法等，其中快速分类法是目前各种方法中速度较快的一种，尤其适用于随机序列的分类。设区间数为k，则1ipk，区间为01121,,,,,,kkaaaaaa，下面给出一些常用概率分布的等概率分位点的求法：χ2检验典型连续分布1、均匀分布U[a,b]均匀分布不必进行排序，可直接统计各子区间的数据，因为对均匀分布，等概区间亦等长。J=IFIX((ri-a)k/(b-a))+1，即ri应落入第J个子区间。2、指数分布E(β)3、正态分布N(μ,σ2)拟合性检验2020/6/28哈尔滨工业大学电子工程系72020/6/28哈尔滨工业大学电子工程系7ibaiaak0,1,2,,ikln1iiakka0,1,,1ik若ia为0,1N的分位点，则iiaa为2,N对应的分位点。0,1N的分位点由山内(1965)的近似式求得125.72622042.061178611.640595UQyy00.5Q其中ln41yQQ，Q为上概率。2020/6/28哈尔滨工业大学电子工程系82020/6/28哈尔滨工业大学电子工程系8χ2检验典型连续分布4、对数分布LN(μ,σ2)5、威布尔分布W(α,β)6、瑞利分布R(β)拟合性检验若ia为0,1N分位点，则iaiae为2,LN对应分位点。1ln1iiak0,1,,1ikka0,1,,1ikka12ln1iiak2020/6/28哈尔滨工业大学电子工程系9χ2检验典型离散分布1、离散均匀分布DU[i,j]2、伯努利分布B(p)直接统计0,1个数进行检验。3、几何分布G(p)拟合性检验不必进行排序直接统计，1mli即随机数l应落入第m个子区间，此分布共分1kji个子区间。00akalnln1ikiapk1,2,,1ik2020/6/28哈尔滨工业大学电子工程系10χ2检验典型离散分布4、二项分布B(n,p)5、负二项分布B–(n,p)6、泊松分布P(λ)拟合性检验上述三种离散分布采用以下方法求得大致概率分位点，因为离散分布不可能严格等概率：先求得离散取值点的概率值，一般应计算较多点直至最后点的概率趋于零。对二项分布只求0,1,,n共1n个点，然后从0i开始累加ip直至101niipk，k为分组数，则10.5n为第一个分位点，再从11n开始累加ip直至211niinpk，则20.5n为第二个分位点，依此类推即可。2020/6/28哈尔滨工业大学电子工程系11χ2检验典型离散分布分组数的确定：k=1/(pi)max1、离散均匀分布U[i,j]k=j–i+12、二项分布B(n,p)在求n+1个有限取值点概率的同时依次比较求得其最大值pmax，则k=[1/pmax]3、泊松分布P(λ)可以证明当时i=[λ]，pi为最大值，故k=拟合性检验1.0!ikNINTei柯尔莫哥洛夫—斯米尔诺检验（K-S检验）K-S检验是检验经验分布函数与所拟合的分布函数之间差异是否显著，根据估计的与理论F(x)的接近程度来决定是否拒绝原假设。K-S检验由柯尔莫哥洛夫于1933年首先提出，1939年斯米尔诺加以改进，之后不断被推广。K-S检验可用于小样本情况，但它仅适用于连续分布函数，它要求所检验的分布函数的参数应当全部都是已知的，而不能是从数据中估计出来的，现已允许在正态分布、指数分布和威布尔分布的检验中使用从数据估计的参数。为使临界值表简单，且使临界值与样本容量无关，下面文献给出了修正的统计量。方再根，计算机模拟和蒙特卡洛方法，北京工业学院出版社，1988年拟合性检验2020/6/28哈尔滨工业大学电子工程系12)(ˆxF正态性检验中心极限定理指出：在某些很一般的条件下，服从任意分布的n个独立随机变量，其和的分布趋于高斯分布。这样许多类型的噪声可以假设为正态分布，因而对此进行正态性检验就很有必要。除了χ2检验、K-S检验外(正因为它们适用于任意分布，对正态性检验效果不突出，但当样本量大时需采用)，正态性检验有一些特殊的方法：1、正态概率纸（概率图法）拟合性检验2020/6/28哈尔滨工业大学电子工程系13设),(~2NX，则xQdzexFxz121)(222)(，令xu，则)(1)(uQxF式中uzdzeuQ2221)(正态性检验拟合性检验2020/6/28哈尔滨工业大学电子工程系14作直角坐标系，以x为横轴，u为纵轴，在纵轴上对应于u刻度值处注上相应的)(1uQ值，即构成正态概率坐标系。若X是正态分布，则在正态概率纸上点出的)(xFx图形是一条直线，不论其截距和斜率是多少。利用正态概率纸，还可大体估计出均值X及标准差s。用正态概率纸检验正态性的步骤详见文“何国伟编著，误差分析方法，国防工业出版社，1978年”，但此手工作图仅适用于小样本量的数据处理。对于大的样本量可用计算机取点作图，其中调用正态分布分位点子程序。正态概率纸仅是此概率图法的一种具体应用，类似可作出其他分布如对数正态概率纸、威布尔概率纸等。用正态概率纸检验的一个关键是判定直线差异程度，这往往因人而异，无通用准则，因此只是一个定性而非定量的检验。2020/6/28哈尔滨工业大学电子工程系15正态性检验2、夏皮罗—威尔克(Shapiro-Wilk)方法竹内启及藤野和建于1975年发表了一篇技术报告“AComparativeStudyofTestofNormality,ISO/TC69/SC2.NO.13,1975”。奥野忠一于1976年发表了一篇技术报告，他们比较了若干种主要的正态性检验方法，结论是：正态性检验方法中，总的来说以“歪度、尖度（）检定法”及“夏皮罗—威尔克检定法”为最有效，但前者计算量较大。此方法仅适用于n≤100，且由于查表不便于编程，因此实际中常用χ2检验进行正态性检验，尤其大样本时。何国伟编著，误差分析方法，国防工业出版社，1978年拟合性检验21,bb自相关函数估计设给定各态历经点数据样本x(0),x(1),…,x(N-1)，则其自相关函数估计有：1、定义法（时域法）独立性检验2020/6/28哈尔滨工业大学电子工程系16有偏但渐近无偏估计：1||0)()(1)(ˆmNnmnxnxNmr，10Mm无偏估计：1||0)()(1)(ˆmNnmnxnxmNmr，10Mm式中NM。由于自相关函数为偶函数，即)(ˆ)(ˆmrmr，故只需10Mm即可。可以理论证明有偏估计的方差小于无偏估计的方差，且是渐近无偏的，因此在实际中多用这种估计。当采样数据N增大时，两种估计方差均减小，因此自相关函数估值可通过增大N而得到改进。自相关函数估计2、频域法（间接法）独立性检验2020/6/28哈尔滨工业大学电子工程系17当M较小时，直接按定义计算前面两式很有效。但当M大时，其计算量与NM成比例，乘加运算量很大。自相关与卷积运算的差异在于第二个信号没有时域取反号过程（自相关实际上是)(nx和)(nx的离散卷积），类似频域计算卷积的快速算法，可采用频域法计算自相关函数：A、连续谱——离散序列的傅立叶变换(DTFT)可以严格理论证明有偏自相关函数是周期图的傅立叶反变换(参见王宏禹，随机数字信号处理，科学出版社，1988，P256)，即)()(ˆNIIDTFTmr，其中周期图2)(1)(