5.微分熵

第五章微分熵微分熵描述连续随机变量的熵，形式上与离散随机变量的熵类似，但存在一些重要的差别。5.1节定义定义5.1设X是一个随机变量，概率密度函数为p(x)，定义X的微分熵为loghXpxpxdx与离散情形一样，微分熵只与概率密度函数有关。例5.2.如果X服从区间[a,b]上的一致分布，即1,,pxxabba可以计算出loghXba注释：微分熵不必大于0，如本例中，如果b-a1,则H(X)0.例5.3.假设X服从高斯分布，即221exp22xpx以奈特为单位计算微分熵，有hXpxdxlnEpx2221ln222EX211ln22221log22e奈特改变对数的底，则21log22hXe比特5.2节联合微分熵与条件微分熵与离散情形类似，单个随机变量的微分熵可以推广到多个随机变量。定义5.4联合概率为p(x,y)的随机变量X和Y的联合微分熵定义为,,log,hXYpxypxydxdy定义5.5如果X，Y的联合密度函数为p(x,y)，定义条件微分熵为|,log|hYXpxypyxdxdy因为,(|)pxypxypy所以有(|)(,)hXYhXYhY定理5.6（多元正态分布的熵）如果12,,...,nXXX服从n维高斯分布，即1121211,,...,exp22TnnfxxxxμKxμK则12,,...,nhXXX1ln22neK比特其中K代表K的行列式。证明：联合熵12,,...,nhXXX1212,,...,ln,,...,nnfxxxfxxxdx1121ln22nTfdxxμKxμKx112,,11ln222niijjijijEXXKK112,11ln222njiijjiKKK112,11ln222njjjKKK,11ln222njjjIK1ln222nnK1ln22neKnats1ln22neKbits5.3节相对熵与互信息现在将相对熵和互信息的概念推广到连续型随机变量。定义5.7两个密度函数p和q之间的相对熵||Dpq定义为||logpxDpxqxpxdxqx定义5.8联合密度函数为p(x,y)的两个随机变量间的互信息;IXY定义为,;,logpxyIXYpxydxdypxpy根据上面的定义，很容易证明;|IXYhXhXY|hYhYX,hXhYhXY;IYX,log,pxpypxydxdypxy,,logpxypxydxdypxpy,||Dpxypxpy5.4节微分熵、相对熵以及互信息的性质定理5.9||0Dpq等式成立的条件是两分布相等。证明：||loggDfgffloggff（Jensen不等式）logglog10推论5.10;0IXY，等式成立当且仅当X与Y相互独立推论5.11|hXYhX，等式成立当且仅当X与Y相互独立定理5.12（微分熵的链规则）121211,,...,|,,...,nniiihXXXhXXXX证明：由定义可直接可得。推论5.13,hXYhXhY定理5.14假设20,XN，X是任意实值随机变量，且0EX，22VarXEX，则hXhX证明.X的分布为221exp22xpx假设X的分布为gx，则0||DgxpxloggxgxdxpxlnhXgxpxdx222ln22xhXgxdx22211ln222hXEX211ln222hX21ln22hXehXhX因此hXhX证明完毕。定理5.15如果信源输出幅度受限，则服从均匀分布的X具有最大熵5.5节高斯信道连续信道中最重要的模型是高斯信道，如图5.1。这是一个离散时间信道，在时刻i，输入信号为iX，噪声为iZ，输出信号iY为输入信号与噪声的。噪声iZ为独立同分布序列，且服从均值为0，方差为N的高斯分布。即iiiYXZ，20,iZN图5.1高斯信道假设噪声与输入信号独立。如果没有进一步的限制，高斯信道的容量为无穷大。若噪声方差为0，则接收者可以正确接收每一个输入符号，由于信源X是连续的，可以取任意的实数值，因此此时高斯信道可以正确传输任意的实数，换句话说，容量为无穷。若噪声方差不为0，但输入信号没有限制，此时容量也可以为无穷大。方法是选择输入信号的一个任意分散（arbitrarilyfarapart）的无穷子集，使得在接收端可以以任意小的差错概率区分出这些输入符号。因而，此时高斯信道容量也是无穷大。因此，如果噪声方差为0或对输入信号没有限制，则信道的容量为无穷大。输入最通常的限制是能量或功率受约束。我们假设信道受平均功率约束。即对于在信道上传输的任意码字12,,...,nxxx，要求211niixPn通信中高斯信道经常用来对实际信道的理想建模。5.5.1加性高斯噪声信道现在来定义高斯信道的容量。将高斯信道容量定义为通过选择满足平均功率约束的输入分布，取得的最大的互信息。定义5.16（高斯信道容量）平均功率约束为P的高斯信道的容量定义为2:max;pxEXPCIXY考虑高斯信道容量的计算。注意到输入X与噪声Z独立，;|IXYhYhYX|ahYhXZX|bhYhZXchYhZ（a）利用高斯信道的假设（b）Z是X+Z和X的函数（c）X与Z独立根据假设，Z是高斯变量，因此21log22hZe又因为X与Z独立，且0EZ，所以22EYEXZ222EXEXEZEZ2P等式成立的条件是2EXP。现在假定22EYP，则由定理（给定方差下，正态分布取得最大熵）….可知21log22hYeP等式成立条件是Y是高斯分布，由高斯信道的假设，YXZ。如果X是高斯随机变量，由于根据假设，Z是高斯的，而高斯随机变量的线性组合也是高斯变量，所以Y是高斯变量的条件是X是高斯，即X的分布是均值为0，方差为P的高斯分布，0,XNP。现在来考虑互信息;IXYhYhZ2211log2log222ePe21log12P等式成立的条件是Y是高斯随机变量，根据前面的讨论，即要求0,XNP。容量：2:max;pxEXPCIXY21log12P取得容量的输入分布是0,XNP，即X服从均值为0，方差为P的高斯分布。5.5.2带宽有限高斯信道对于无线或有线通信，通用的模型是具有白噪声的有限带宽信道，这是一种时间连续信道，也称为波形信道。如果用()Xt代表信号的波形，()Zt代表白色高斯噪声的波形，()ht代表理想低通滤波器，它的作用是将信号中所有频率大于W的成分去掉。则输出波形()Yt为：()(()())()YtXtZtht我们首先给出由奈奎斯特和Shannon给出的表示定理，这个定理说的是如果以12W的采样率对有限带宽信号进行采样，则可以由这些样本重构出原始信号。直观上讲，它指的是如果一个信号的最大频率是W，那么这个信号在12W秒的时间间隔内不会发生很大的变化。定理5.17（Nyquist-Shannon抽样定理）假设信号()ft的带宽为W，即该信号的谱在所有大于W的频率的地方都为0，那么该信号可以由采样间隔为12W秒的样本完全决定。证明.()ft的频谱()F如图所示。由于()F在带宽22WW外为0，所以：-WWF(W)f2211()()()22WjtjtWftFedFed考虑采样间隔为12W秒的样本序列，信号在采样点的值为：2221()22nj若将()F以区间(2,2)WW作为基本周期扩展成周期函数，(3)式右边可看成该周期函数的傅里叶级数表示中的系数（想想信号与系统中周期函数的傅里叶级数表示形式）。样本值2nWf决定了该傅里叶展开的系数，又函数可以由其傅里叶变换唯一决定，并且()F在带宽W之外为0，因此可以有样本唯一地决定该信号。考虑函数sin(2)sin()2WtctWt该函数在t=0时为1，在t=n/2W,n不为0的时候为0，而且该函数的频谱在带宽(-W,W)内为常数，在该带宽外为0。现在定义()sin22nnngtfctWW由sinc函数的性质可知，g(t)的最大频率是W，且在2nWt时为2nWf，由于满足这些限制的信号只有一个，所以必有()()ftgtRemark:实际上如果信号是带宽严格有限，则在时域必然无限，相反，信号若在时域严格有限，则其带宽必然无限，因此这个定理实际上讨论的是带宽有限且时间有限的信号指的是近似有限。尽管一个一般的函数有无限多个自由度，即函数在每一点的值可以独立的选择。Nyquist-Shannon抽样定理表明：带宽为W，时域持续T的信号具有2WT个自由度，所谓的自由度可以用线性空间的维度来表示，换句话说，带宽为W，时域持续T的连续信号可以用2WT个正交基来进行表示。我们不深入探讨这个问题，感兴趣的可参考文献【1】。现在回到有限带宽信道的通信问题。假定信道的带宽为W，输入、输出信号可用采样间隔为12W秒的样本来表示，每个输入样本受白噪声影响产生输出。由于噪声为白色高斯过程，因此噪声样本为独立同分布高斯随机变量。如果噪声的功率谱密度为02N瓦/Hz且带宽为W，则噪声功率为0022NWWN，并且在时间T内，该噪声的每一个样本的方差均为0022WNTNWT，每个样本的输入功率为22PTPWTW，利用离散时间高斯信道的容量公式可以计算出信道的容量为：1log12PCN比特/传输（bitspertransmission）020211log1log122PWNPNW比特/样本（bitspersample）由于每秒内共有2W个样本，所以容量公式可以改写为：0log1PCWNWbits/s在该容量公式中，如果带宽趋于无穷大，即W，则2200loglogPPCWeeNWN即当带宽越来越大时，信道容量的增加与W的关系越来越小。换句话说，不能通过无限的增加传输的带宽来增加容量。此时容量与发射功率P成线性的关系，C随P的增加而线性增加，即信道的容量或可允许的传输速率对发射功率非常敏感。公式（8）是信息论中最著名的公式之一。它利用噪声谱密度和功率P给出了有限带宽的高斯信道的容量。Shannon明确地指出，这个公式在当时是与人们的直觉相违背的。当时的工程和实践使得工程师相信降低差错概率只能通过逐渐的降低传输速率来得到。用Shannon的话说：容量公式“是一个颇令人吃惊的结果，因为大家都认为降低差错率要求降低传输的速率，如果差错率接近0，则速率必须接近0。事实上，我们可以按速率C传输信息，但通过在发射机采用复杂的编码和在接收机使用更长的时延来降低差错率”。例5.18（电话线）：为了实现信道的多路复用，电话信道的带宽往往限制在3300Hz。在公式（8