神奇的Gamma函数-(下)

神奇的Gamma函数(下)rickjin关键词：特殊函数,概率分布从二项分布到Gamma分布Gamma函数在概率统计中频繁现身，众多的统计分布，包括常见的统计学三大分布(t分布，χ2分布，F分布)、Beta分布、Dirichlet分布的密度公式中都有Gamma函数的身影；当然发生最直接联系的概率分布是直接由Gamma函数变换得到的Gamma分布。对Gamma函数的定义做一个变形，就可以得到如下式子∫∞0xα−1e−xΓ(α)dx=1于是，取积分中的函数作为概率密度，就得到一个形式最简单的Gamma分布的密度函数Gamma(x|α)=xα−1e−xΓ(α)如果做一个变换x=βt,就得到Gamma分布的更一般的形式Gamma(t|α,β)=βαtα−1e−βtΓ(α)其中α称为shapeparameter,主要决定了分布曲线的形状;而β称为rateparameter或者inversescaleparameter(1β称为scaleparameter),主要决定曲线有多陡。Gamma(t|α,β)分布图像Gamma分布在概率统计领域也是一个万人迷，众多统计分布和它有密切关系。指数分布和χ2分布都是特殊的Gamma分布。另外Gamma分布作为先验分布是很强大的，在贝叶斯统计分析中被广泛的用作其它分布的先验。如果把统计分布中的共轭关系类比为人类生活中的情侣关系的话，那指数分布、Poission分布、正态分布、对数正态分布都可以是Gamma分布的情人。接下来的内容中中我们主要关注β=1的简单形式的Gamma分布。Gamma分布首先和Poisson分布、Poisson过程发生密切的联系。我们容易发现Gamma分布的概率密度和Poisson分布在数学形式上具有高度的一致性。参数为λ的Poisson分布，概率写为Poisson(X=k|λ)=λke−λk!在Gamma分布的密度中取α=k+1得到Gamma(x|α=k+1)=xke−xΓ(k+1)=xke−xk!所以这两个分布数学形式上是一致的，只是Poisson分布是离散的，Gamma分布是连续的，可以直观的认为Gamma分布是Poisson分布在正实数集上的连续化版本。这种数学上的一致性是偶然的吗？这个问题我个人曾经思考了很久，终于想明白了从二项分布出发能把Gamma分布和Poisson分布紧密联系起来。我们在概率统计中都学Poisson(λ)分布可以看成是二项分布B(n,p)在np=λ,n→∞条件下的极限分布。如果你对二项分布关注的足够多，可能会知道二项分布的随机变量X∼B(n,p)满足如下一个很奇妙的恒等式P(X≤k)=n!k!(n−k−1)!∫1ptn−k−1(1−t)kdt(∗)这个等式反应的是二项分布和Beta分布之间的关系，证明并不难，它可以用一个物理模型直观的做概率解释，而不需要使用复杂的数学分析的方法做证明。由于这个解释和Beta分布有紧密的联系，所以这个直观的概率解释我们放到下一个章节，讲解Beta/Dirichlet分布的时候进行。此处我们暂时先承认(*)这个等式成立。我们在等式右侧做一个变换t=xn,得到P(X≤k)=n!k!(n−k−1)!∫1ptn−k−1(1−t)kdt=n!k!(n−k−1)!∫nnp(xn)n−k−1(1−xn)kdxn=(n−1)!k!(n−k−1)!∫nnp(xn)n−k−1(1−xn)kdx=∫nnp(n−1k)(xn)n−k−1(1−xn)kdx=∫nnpBinomial(Y=k|n−1,xn)dx上式左侧是二项分布B(n,p),而右侧为无穷多个二项分布B(n−1,xn)的积分和,所以可以写为Binomial(X≤k|n,p)=∫nnpBinomial(Y=k|n−1,xn)dx实际上，对上式两边在条件np=λ,n→∞下取极限，则左边有B(n,p)→Poisson(λ),而右边有B(n−1,xn)→Poisson(x),所以得到Poisson(X≤k|λ)=∫∞λPoisson(Y=k|x)dx把上式右边的Possion分布展开，于是得到Poisson(X≤k|λ)=∫∞λPoisson(Y=k|x)dx=∫∞λxke−xk!dx所以对于们得到如下一个重要而有趣的等式Poisson(X≤k|λ)=∫∞λxke−xk!dx(∗∗)接下来我们继续玩点好玩的，对上边的等式两边在λ→0下取极限，左侧Poisson分布是要至少发生k个事件的概率，λ→0的时候就不可能有事件发生了，所以P(X≤k)→1,于是我们得到1=limλ→0∫∞λxke−xk!dx=∫∞0xke−xk!dx在这个积分式子说明f(x)=xke−xk!在正实数集上是一个概率分布函数，而这个函数恰好就是Gamma分布。我们继续把上式右边中的k!移到左边，于是得到k!=∫∞0xke−xdx于是我们得到了k!表示为积分的方法。看，我们从二项分布的一个等式出发,同时利用二项分布的极限是Possion分布这个性质，基于比较简单的逻辑，推导出了Gamma分布，同时把k!表达为Gamma函数了！实际上以上推导过程是给出了另外一种相对简单的发现Gamma函数的途径。回过头我们看看(**)式,非常有意思，它反应了Possion分布和Gamma分布的关系，这个和(*)式中中反应的二项分布和Beta分布的关系具有完全相同的结构。把(**)式变形一下得到Poisson(X≤k|λ)+∫λ0xke−xk!dx=1我们可以看到，Poisson分布的概率累积函数和Gamma分布的概率累积函数有互补的关系。其实(*)和(**)这两个式子都是陈希儒院士的《概率论与数理统计》这本书第二章的课后习题，不过陈老师习题答案中给的证明思路是纯粹数学分析的证明方法，虽然能证明等式成立，但是看完证明后无法明白这两个等式是如何被发现的。上诉的论述过程说明，从二项分布出发，这两个等式都有可以很好的从概率角度进行理解。希望以上的推导过程能给大家带来一些对Gamma函数和Gamma分布的新的理解，让Gamma分布不再神秘。