信息论第3章离散信道及其信道容量12

第3章离散信道及其信道容量3.1信道的数学模型及分类在一般广义的通信系统中，信道是很重要的一部份。信道的任务是以信号方式传输信息和存储信息的。研究信道就是研究信道中能够传送或存储的最大信息量，即信道容量问题。3.1.1信道的分类实际的通信系统中，物理信道种类很多，包涵的设备也很多。信息论是将各种不同的物理信道抽象成统一的数学模型，集中研究信息的传输和存储问题。从信息传输的角度来考虑，信道可以根据输入和输出信号的统计性质、信道的统计特性以及信道的用户多少等方法来进行分类。根据信道的用户多少，可分为：两端（单用户）信道：一个输入端一个输出端的单向通信的信道。多端（多用户）信道：在输入端或输出端中至少有一端有两个以上的用户，并且可以双向通信的信道。根据信道输出端和输入端的关联，可以分为：无反馈信道：信道输出端无信号反馈到输入端，输出端信号对输入端信号无影响、无作用。反馈信道：信道输出端的信号反馈到输入端，对输入端信号起作用、影响输入端信号发生变化。根据信道的参数（统计特性）与时间的关系，信道可以分为：固定参数信道：信道的参数（统计特性）不随时间变化而改变。时变参数信道：信道的参数（统计特性）随时间变化而变化。据输入和输出信号的统计特性，可以分为：离散信道：输入和输出的随机序列的取值都是离散的信道，也称数字信道。连续信道：输入和输出的随机序列的取值都是连续的信道。半离散半连续信道：输入序列是离散性的但相应的输出序列是连续的信道，或者相反。波形信道：信道输入和输出的随机变量的取值是连续的，并且还随时间连续变化。又称为模拟信道。波形信道可分解成离散信道、连续信道或半离散半连续信道研究。3.1.2离散信道的数学模型离散信道的数学模型可用图表示为XYX=（X1,X2,…Xi,…XN）X：[a1,a2,…ar]P(y|x)Y=（Y1,Y2,…Yi,…YN）Y：[b1,b2,…bs]P(y|x)=1除用图表示外，离散信道的数学模型还可用概率空间[X,P(y|x),Y]加以描述。信道y信道的分类根据离散信道的统计特性及条件概率P(y|x)的不同，离散信道又可分为三种情况：无干扰（无噪）信道：信道中没有随机性的干扰或者干扰很小，输出信号Y与输入信号X之间有确定的一一对应关系。y=f(x)条件概率满足xfy0xfy1xyP有干扰无记忆有干扰无记忆信道：输出符号与输入符号之间无确定的对应关系，条件概率是一般的概率分布。信道任一时刻输出符号之依赖于对应时刻输入符号，而与非对应时刻的输入符号及其他任何时刻的输出符号无关，这就是无记忆信道。满足离散无记忆信道的充要条件是：N1iiiN21N21xyPxxxyyyPxyP对任意的N值和任意x、y的取值都成立。有干扰有记忆信道：信道某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，称为有记忆信道。处理这类有记忆信道时，最直观的方法是把记忆较强的N个符号当作一个矢量符号来处理，而各矢量符号之间认为是无记忆的，转化为无记忆信道的问题。N取得越大，误差将越小。另一种处理方法是把P(y|x)看成马尔可夫链的形式，这是有限记忆信道的问题。3.1.3单符号离散信道的数学模型单符号离散信道的输入变量为X，取值于{a1a2…ar}；输出变量为Y，取值于{b1b2…bs}。并有条件概率P(y|x)=P(y=bj|x=ai)=P(bj|ai)(i=1,2,…,r；j=1,2,…,s)这一组条件概率称为信道的传递概率或转移概率。一般简单的单符号离散信道的数学模型可以用概率空间[X,P(y|x),Y]加以描述，也可用图描述，如图3.2。例题3.1二元对称信道，简记为BSC。这是重要的一类特殊信道输入符号X取值于{0,1}，输出符号Y取值于{0,1}a1=b1=0a2=b2=1，传递概率得出传递矩阵为p是单个符号传输发生错误的概率p1ppp1例题3.2二元删除信道，简记为BEC。输入符号X取值于{0,1}，输出符号Y取值于{0,2,1}传递概率如图3.4所示，则传递矩阵为qq100p1p一般离散单符号信道的传递矩阵形式一般离散单符号信道的传递矩阵为简记为pij≧0(i=1,2,…r)rsr2r12s22211s1211r21abPabPabPabPabPabPabPabPabPaaarsr2r12s22211s1211ppppppppp1ps1jij一般单符号离散信道的一些概率关系输入和输出符号的联合概率为P(x=ai,y=bj)=P(aibj)，则有P(aibj)=P(ai)P(bj|ai)=P(bj)P(ai|bj)前向概率、后向概率、先验概率、后验概率根据联合概率可得输出符号的概率（对j=1,2,…s都成立）根据贝叶斯定律可得后验概率且在信道输出端接收到任一符号bj，一定是输入符号a1,a2,…ar中的某一个送入信道。ijr1iijabPaPbPr1iijiijijjijiabPaPabPaPbPbaPbaP1baPr1iji回顾：离散消息的互信息量（一）互信息量离散消息的互信息量又称为非平均互信息量，它的定义如下：I(xi;yj)=logP(xi/yj)/P(xi)=log1/P(xi)－log1/P(xi/yj)=I(xi)－I(xi/yj)即xi与yj之间的互信息量等于xi的自信息量与其条件自信息量之差。I(xi;yj)=I(yj;xi)=I(xi)－I(xi/yj)如果把xi看成是信源发出的符号消息，yj是经过信道传输后信宿收到的符号消息。由于信宿已经收到符号yj，如果yj与xi相关，则xi的条件自信息量必然要比它的自信息量有所下降，这一下降的信息量就是信道从信源传到信宿的信息量。下面讨论两种特例：当I(xi/yj)=0时，说明信宿收到yj后，信源符号xi已经没有任何信息量，即xi已不存在不确定度，说明信道已经把有关xi的全部信息量从信源传到了信宿，所以此时有I(xi;yj)=I(xi)当xi与yj完全独立时，说明信宿收到的符号yj中不包含任何有关xi的内容，也即对xi的不确定度没有任何减少，说明信道没有传递任何有关xi的信息，此时由于xi与yj完全独立，I(xi/yj)=I(xi)，所以有I(xi;yj)=0结论：互信息量就是信道传递的信息量，互信息量的大小反映了一个信道传递信息的能力。3.2平均互信息及平均条件互信息3.2.1信道疑义度根据熵的概念，可以计算得到信道输入信源X的熵说明：第二个等号右边是简明写法，求和号是对变量X的所有取值求和，而P(X)时表示随机变量X区任意一个取值的概率，可以根据情况，选择不同的表示方式。H(X)是在接收到输出Y以前，关于输入变量X的先验不确定性的度量，称为先验熵。xlogPxPaP1logaPXHXir1iijXjjir1ijijbxP1logbxPbaP1logbaPbXH如果信道中无干扰（噪声），信道输出符号与输入符号一一对应，接收到传送过来的符号后就消除了对发送符号的先验不确定性，但是一般在信道中有干扰存在，接收到输出Y后对发送的是什么符号仍有不确定性。怎样度量接收到Y后关于X的不确定性呢？当没有接收到输出Y时，输入变量X的概率分布为P(X)；接收到输出符号y=bj后，输入符号的概率变为P(x|bj)，则接收到输出符号y=bj后，关于X的平均不确定性为这是接收到输出符号bj后关于X的后验熵。后验熵是信道接收到输出符号bj后，关于输入符号的信息测度。yxP1logxyPbaP1logbaPbaP1logbaPbPbXHbPbXHEYXHY,Xjir1is1jjijir1ijis1jjjs1jjj后验熵在输出y的取值范围内是个随机量，将后验熵对随机变量Y求期望，得条件熵为：这个条件熵称为信道疑义度。表示在输出端收到输出变量Y的符号后，对于输入端的变量X尚存在的平均不确定性（存在疑义）。对于一一对应信道，信道疑义度为0。一般情况下条件熵小于无条件熵，说明信道传输接收到变量Y后总能消除一些关于输入端X的不确定性，获得一些信息量。3.2.2平均互信息已知H(X)代表接收到输出符号以前关于输入变量X的平均不确定性，而H(X|Y)代表接收到输出符号后关于输入变量X的平均不确定性。通过信道传输消除了一些不确定性，获得了一定的信息。所以定义I(X;Y)=H(X)-H(X|Y)I(X;Y)称为X和Y之间的平均互信息。代表接收到输出符号后平均每个符号获得的关于X的信息量。也表明了输入和输出两个随机变量之间的统计约束程度。离散消息集合的平均互信息量定义为非平均互信息量I(x;y)在概率空间上的数学期望值。I(X;Y)==其中X是输入随机变量，x∈X，Y是输出随机变量，y∈Y平均互信息I(X;Y)就是绪论中提到的互信息I(x;y)在两个概率空间X和Y中求统计平均的结果。互信息I(x;y)是代表收到某消息y后获得关于某事件x的信息量。互信息可取正值，也可取负值。I(x;y)=Y,XY,XXyPxyPlogxyPyxP1logxyPxP1logxPyPxyPlogyPxPxyPlogxPyxPlogY,XY,XY,XxPyxPlogxyPy;xIxyPy;xIE如果互信息取负值，说明收信者在未收到消息y以前对消息x是否出现的猜测的难易程度较小。但由于噪声的存在，接收到消息y后，反而使收信者对消息x是否出现的猜测难易程度增加了。也就是收信者接收到消息y后对x出现的不确定性反而增加，所以获得的信息量为负值。平均互信息I(X;Y)=是互信息I(x;y)的统计平均值，平均互信息是非负值。最差的情况是I(X;Y)=0，也就是在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量。Y,XY,XY,XxPyxPlogxyPy;xIxyPy;xIE平均互信息量的三种表达式I(X;Y)=H(X)－H(X/Y)=H(Y)－H(Y/X)=H(X)+H(Y)－H(XY)平均互信息量的物理含义由I(X;Y)=H(X)－H(X/Y)可以看出：H(X)：信宿未收到Y之前信源符号集合X的平均不确定度。H(X/Y)：信宿已Y之后信源符号集合X尚存的平均不确定度，也称为信源疑义度。∵H(X)≥H(X/Y)，即信宿收到Y后，信源符号集X的不确定度下降了，那么这一下降的量（即两者差值）就是经由信道从信源传递到信宿的有关信源X的信息量I(X;Y)，正是这一信息量使得信宿对信源的平均不确定度减少了。极端情况对于公式：I(X;Y)=H(X)－H(X/Y)，我们讨论两种极端情况：如果信道中没有干扰，输入符号与输出符号完全一一对应，无噪一一对应信道。则信源X的全部信息量H(X)都被传到了信宿，此时信宿收到符号集合Y后，对信源的平均不确定度H(X/Y)由通信前的H(X)降低到0，此时I(X;Y)=H(X)=H(Y)。如果信道没有传递任何关于信源X的信息量，此时信道是输入端X与输出端Y完全统计独立，Y可能全部是信道中的噪声，或是其它与信源X无关的符号集合。那么收到这样的消息后，信宿对信源的平均不确定度H(X/Y)没有下降，仍为H(X)，此时I(X;Y)=0。由I(X;Y)=H(Y)－H(Y/X)可以看出：H(Y)：信源没有发出符号X前信宿的平均不确定度。H(Y/X)：信源发出符号X后信宿的平均不确定度，也称为噪声熵。（1）如果信道没有传递任何信息，