第四章信道.

第四章信道(2)无噪无损信道（X,Y一一对应）H(Y|X)=0噪声熵H(X|Y)=0疑义度I(X;Y)=H(X)=H(Y)输入等概率时，信道的传输能力达到信道容量C=maxI(X;Y)=lognXY111各种特殊信道的信道容量计算1.三种极限情况nm无噪有损信道多个输入变成一个输出，如下图XY噪声熵H(Y|X)=0疑义度H(X|Y)≠0H(X)H(Y)I(X,Y)=H(Y)-H(Y|X)I(X,Y)=H(X)-H(X|Y)信道容量C=maxI(X;Y)=maxH(Y)一个输入对应多个输出，每个输入对应的输出不同，如下图XYnm,有噪无损信道噪声熵H(Y|X)≠0疑义度H(X|Y)=0I(X,Y)=H(Y)-H(Y|X)I(X,Y)=H(X)-H(X|Y)H(X)=H(Y)信道容量C=maxI(X;Y)=maxH(X)2、对称DMC信道（n个输入，m个输出）对称信道转移概率矩阵中每行的元素相同，每列的元素也相同则条件熵H(Y|X)=-∑p(xi)∑p(yj|xi)logp(yj|xi)＝∑p(yj|xi)logp(yj|xi)j=H(Y|xi)上述条件熵与信道输入符号的概率p(xi)无关ji2/16/13/13/12/16/16/13/12/1如：和3/13/16/16/16/16/13/13/1信道容量为：C=maxI(X;Y)=max[H(X)-H(X|Y)]=max[H(Y)-H(Y|X)]=maxH(Y)-H(Y|X)p(xi)求信道容量，就是求最佳分布时的最大输出熵。由离散信源最大熵定理：输出分布等概率时，输出熵最大。关键是求输入如何分布时，输出等概率分布？p(xi)p(xi)p(xi)若输入等概率分布p(xi)=1/n,则由于转移概率矩阵的列对称，所以p(yj)=∑p(xi)p(yj|xi)=[∑p(yj|xi)]/nii与j无关，即输出符号等概率分布。由于信道的对称性，要使输出等概率分布，输入也为等概率分布。所以，对称DMC信道的容量为：C=log2m-H(Y|xi)=log2m+∑pijlogpijj=1m输入符号等概率分布输出符号等概率分布因此要使I最大需H(Y)最大输出符号等概率分布输入符号等概率分布结论：对于对称的离散无记忆信道，当输入符号等概时，达到信道容量。-11P二元对称信道（BSC)容量：)(1HC)1(log)1(log)(22H例：信道转移概率矩阵为：P＝3131616161613131求其信道容量。C=log2m-H(Y|xi)=log2m+∑pjilogpji=2-1/3log26-2/3log23=0.0817bit/符号m=4,3、准对称DMC信道再进一步放松条件若P(yj/xi)不满足对称条件，但是将信道矩阵按列分割为多个子矩阵：若所有子阵满足对称性条件，则称P为准对称信道。例：[]1,,rPPP=L211212122112121221-11-11PPP显然子阵P1,P2满足对称性（行，列）对于单消息、离散、准对称信道，当且仅当信道输入为等概率分布时，信道达容量值:()1log|logrikkkCnHYxNM==--å准对称信道有下列定理：jijkabpNNK是第k个子矩阵中行元素之和,kjiiMpbaMK是第k个子矩阵中列元素之和,r是不互相交的子集个数4.二元对称删除信道12121221-11P输入集合中只有两个消息信道的输入消息集合中只有两个消息的情况信道的消息集合X中只有X1和X2两个消息，并设它们的概率为P(X1)＝α，P(X2)＝1－α。根据给定的信道传输概率集合或信道矩阵，可求得各个联合概率P(xy)和各个信宿消息的概率P(y),它们都以α为参变量的函数然后用公式I(X；Y)＝H(Y)－H(Y|X)C是I(X；Y)对某个信源概率矢量P＝(P(X1),P(X2))的极大值,故可用偏导为零的方法,即，得出I(X；Y)极大值时的α值，代入I(X；Y)中，可得C＝Rmax＝I(X；Y)max0);(YXI0.2ln(0.30.2)0.20.2ln(0.50.2)0.20＝3/16/13/16/16/16/13/13/11P可以分解成6/16/1,3/13/1,3/16/16/13/17.01.02.02.01.07.02P1.01.0,7.02.02.07.0可以分解成解法二：利用准对称信道当输入等概时，达到信道容量为：其中n为输入符号集个数；Nk为第k个子矩阵中行元素之和；Mk为第k个子矩阵中列元素之和；r为子集个数()1log|logrikkkCnHYxNM==--å例：已知信道转移概率矩阵为P＝0.50.30.20.30.50.2求其信道容量。0.50.30.30.50.20.2分解成：n=2,N1=0.5+0.3=0.8,M1=0.5+0.3=0.8N2=0.2,M2=0.2+0.2=0.4r=2()1log|logrikkkCnHYxNM==--å（5）信道矩阵为非奇异方阵若有扰离散信道矩阵为非奇异H，其逆矩阵中第j行第i列元素为qij（i,j=1,…,M),则有其信道容量为达到此信道容量的信道输入消息集合的概率分布11exp0MMkikjiijjdqqHYx11lnexp0MMjiijiCqHYx,1,2,...,ckkpxedkM一般信道1(;)1niiIXYpx1(;)10niiiiIXYpxpxpx1()()10niiiiHYHYXpxpxpxI(X;Y)是输入概率分布的上凸函数，存在极大值，并满足，可用拉格朗日乘子法来计算极值。()iPx1()1niiPx两边同乘p(xi)并对i求和：1njijiipypxpyxjjiidpypyxdpx22211[loglog][log]0mmjijjijijijjpyxpypyxepyxpyx221loglogmjijijjpyxpyxepy22211()loglog,lognmjiijiijjpyxpxpyxeCeI(X;Y)py即是的极大值；1111log()(|)log(|)()10()mnmnjjijijiijijiipypypxpyxpyxpxpx111111111(;)()(|)log()(|)log(|)()(|)log()(|)log(|)(|)()(|)log()mnmjjijijijijmnnmijijijijijiijnmjiijiijjIXYHYHYXpypypxpyxpyxpxpyxpypxpyxpyxpyxpxpyxpy22112211211logloglog[log]logmmjijijijjjmmjijijijjjmmjijijijjjjpyxpyxpyxpyCpyxpyxpyxpyCpyxpyxpyx，根据此式，由信道矩可求得根据以下两式：221loglogmjijijjpyxpyxepy2logeC可得：2logjjpyC2jCjpy1121jmmCjjjpy122jmCj21log(2)jmjC一般信道容量的步骤1.求2.求C，3.求p(yj)4.求p(xi)j【注意】求得p(xi)后，需要验证p(xi)≥0，否则C不存在，需要重新调整p(xi)再重新求解，一般通过迭代算法求解。串联信道和并联信道的信道容量串联信道（级联信道）串联信道的信道矩阵П为信道1的信道矩阵П1与信道2的信道矩阵П2的乘积，即П＝П1·П2根据矩阵乘法，П中的i行第k列的元素P(zk|xi)为对多个信道串联，可先计算第一、二信道相串联，再把这结果与第三信道串联，以此类推信道1P(y|x)信道2P(z|y)等效信道P(z|x)xyzxzJjkijikyzPxyPxzP)|()|()|(例：两个交叉传输概率为ε的二进制对称信道相串联，求这串联信道的信道矩阵及信道上传输的最大平均信息量解：由题意有对称串联信道的等效信道仍为对称信道，但交叉传输概率变成了2ε(1-ε)，等效信道的信道容量为1121222221)1()1(2)1(2)1(1111max12222()(|)loglog12(1)log2(1)[(1)]log[(1)]LijijijCHYHYxmPP并联信道当各信道相互独立时，联合条件概率为：平均联合互信息量为：一般来说，当N个相互独立的信道并联时，其总信道容量C为：当并联的各个信道相同时，信道1信道2'xxx'xy'y'yy)|()|()|(xyPxyPxxyyPYYXXYYXXyyPxyPxyPxyPxyPxxPyyPxxyyPyyxxPYYXXI)()|()|(log)|()|()()()|(log)()';'(NiiCC1iNCC信道编码定理[定理]对离散平稳无记忆信道，其容量为C，输入序列长度为L。则，只要实际信息率RC，就必可找到一种编码：当L足够长时，有Pe。反之，若实际信息率RC，则对任何编码，Pe必大于零[说明]①前者为正定理，后者为逆定理②给出了信息传输率的极限只要RC，必可无失真传输若RC，必为有失真传输③存在性定理译码方案——译码时所用的准则在一般的信息传输系统中，信宿收到的集合Y不一定与信源发出的信息集合X相同，而信宿需要知道此时信源发出的是哪一个信源信息，故需要把信宿收到的消息恢复成相对应的信源消息。这个消息恢复过程称为译码，用公式表示为X’＝g(Y)通常采用的译码方案是最大后验准则：把信道输出符号消息yj译成具有最大后验概率P(x*|yj)的那个信道输入符号消息x*12MXxxx信道12LYyyy译码器12'()MXgYxxx用数学公式表示：若P(x*|yj)P(xi|yj)，对所有的i＝1，2，…，M(但除掉x*所对应的下标i)，则把yj译成x*，此准则使消息的错误传输概率最小例：已知一个信源的概率空间为所使用的信道的信道矩阵。找出能使错误传输概率最小的译码方案，并求出错误传输概率解：信道传输特性如图X，P(X)＝X1，X2，X31/2，1/4，1/421210001001由公式P(xy)＝P(x)·P(y|x)可得矩阵形式表示的联合概率分布:再由公式可得行矩阵形式表示的Y中三个消息的概率分布：再由公式可得矩阵形式表示的后验概率分布:8181000410021XxyPyP)()(818143)()()|(yPxyPyxP11000310032收到y1后对x1，x2，x3的后验概率分布为：P(x1|y1)＝2/3P(x2|y1)＝1/3P(x3|y1)＝0比较大小后，按最大后验概率准则，应把信宿收到的y1译成x1同理，信宿收到y2后对x1，x2，x3中以P(x3|y2)最大，应把y2