第3章 离散信道及其信道容量

第3章离散信道及其信道容量研究信道中理论上能够传输或存储的最大的信息量信道分类及其描述单符号离散信道的数学模型平均互信息及其特性信道容量及其计算方法各种离散信道的信道容量3.1信道的分类及其描述信道分类–用户数量：单用户、多用户–有记忆/无记忆信道–信道参数与时间的关系：固参、时变参–有噪/无声种类：随机差错、突发差错–输入输出特点：离散、连续、半离散半连续、波形信道3.2单符号离散信道信道参数)(Y/Xp输入信号输出信号条件概率来描述信道输入输出信号之间统计的依赖关系。P称为转移概率矩阵niiaaXXXXX,,),,,,(121mjjbbXYY，Y,,),,,,(121Yb2a2a1anbmb1nmnnmmppppppppp212222111211P3.2单符号离散信道•前向概率•后向概率•先验概率•后验概率)/(ijabp)/(jibap)(iap)/(jibap3.2单符号离散信道•信道种类1.无干扰信道2.有干扰无记忆信道3.有干扰有记忆信道如果信道转移概率矩阵的每一行/每一列只包含一个1，其余都为0，则信道是无干扰离散息道，否则是有干扰信道3.2单符号离散信道如果信道转移概率矩阵的每一行/每一列只包含一个1，其余都为0，则信道是无干扰离散息道，否则是有干扰信道二进制对称信道（BSC）1-p1-ppp0110pppp11P3.3平均互信息及其特性平均互信息量其中yxypxypyxypxpxypyxxpyxpxypxypxypYXI,)()/(,)()()(,)()/(log)(log)(log)();()()()()/()()/()();();(XYHYHXHXYHYHYXHXHXYIYXIyxxypxypXYH,)(1log)()(损失熵和噪声熵信道疑义度（损失熵）共熵噪声熵);()()/(YXIXHYXH)()();()(YHXHYXIXYH);()()/(YXIYHXYH平均互信息的特性非负性：当且仅当X和Y统计独立时，取值0对称性极值性凸性函数当条件概率分布给定时，平均互信息量是输入概率分布的上凸函数当集合X的概率分布保持不变时，平均互信息量是条件概率分布的下凸函数)();();();(YHXYIXHYXI);();(XYIYXI3.4信道容量信息传输率就是互信息信道中平均每个符号所能传送的信息量，即信道的信息传输速率R=I(X;Y)=H(X)－H(X/Y)比特/符号Rt=I(X;Y)/t比特/秒信道容量:I(X;Y)是p(x)、p(y/x)的函数，并且是p(x)的凹函数。对固定的信道，存在某个分布p(x)，使得I(X;Y)达到最大值，称为信道容量);(max)(YXICiap几个特殊信道的信道容量无干扰离散信道的信道容量aXYXYXY1111111111111(a)无噪无损信道(b)无噪有损信道(c)有噪无损信道部分理想化的无干扰离散信道几个特殊信道的信道容量X、Y一一对应(I(X;Y)=H(X)=H(Y))C＝maxI(X;Y)＝logn多个输入变成一个输出(I(X;Y)=H(Y)H(X))C＝maxI(X;Y)＝maxH(Y)=logm一个输入对应多个输出(I(X;Y)=H(X)H(Y))C＝maxI(X;Y)＝maxH(X)=logn对称离散信道及其容量对称的DMC信道:如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，并且每一列都是第一列的置换(包含同样元素)，称该信道为对称的DMC信道对称DMC信道例子3131616161613131216131312161613121对称离散信道及其容量两个性质：H(Y/X)与信道输入符号的分布无关当输入等概分布时，输出符号也等概分布)/()/(log)/()/(log)/()()/(ijijijjijijiixYHabpabpabpabpapXYHiijiijijabpnabpapbp)/(1)/()()(对称离散信道及其容量对称信道的信道容量容量)/()(max)]|()([max)]|()([max);(max)()()()(XYHYHXYHYHYXHXHYXICiiiiapapapap＝mjijijippmaYHmC1loglog)|(log对称离散信道及其容量Eg.求信道容量3131616161613131P符号/082.0)61,61,31,31(4log2bitHC111111111nnnnnnP)1,,1,1(lognnHnC强对称信道(均匀信道)对称离散信道及其容量二进制对称信道容量00.20.40.60.8100.20.40.60.81C＝1+plogp+(1-p)log(1-p)准对称离散信道及其容量准对称DMC信道:转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道3/16/13/16/16/16/13/13/11P7.01.02.02.01.07.02P对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量准对称离散信道及其容量Eg.求信道容量2.05.03.02.03.05.0P信道的输入符号有两个，可设p(a1)＝，p(a2)＝1－，信道的输出符号有三个，用b1、b2、b3表示2.0)1(2.02.0)(2.05.0)1(5.03.0)(2.03.0)1(3.05.0)(321bpbpbp0);(YXI符号/036.0);(maxbitYXIC准对称离散信道及其容量将转移概率矩阵划分成若干互不相交的对称的子集nkkksMNpppHrC121log)',','(logr为输入符号集个数；p1’,p2’,…ps’是转移概率矩阵P中一行的元素，即H(p1’,p2’,…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，n是互不相交的子集个数2.02.0,5.03.03.05.0036.04.0log2.08.0log8.0)2.0,3.0,5.0(2log222HC准对称离散信道及其容量Eg.求信道容量3/16/13/16/16/16/13/13/11P041.0)6/16/1(log6/1)3/13/1(log3/1)6/13/1(log)6/13/1()6/1,6/1,3/1,3/1(2log2222HC一般离散信道的信道容量一般DMC信道：推导可以得到方程组：如果上述方程组存在解{pi}:)();(iiaPYXIiijjijijaPebPabPabP1)(log)()/(log)/(eCebPabPabPaPijjijijilog.log)()/(log)/()(也就是说：一般离散信道的信道容量特别的，当信道转移矩阵非奇异时，对n个i：按照上述方法得到的解未必满足要求，解可能在边界上。迭代算法分别于1972年由S.Arimoto和R.E.Blahut给出。jjijijCbpabpabp)()/(log)/()/(log)/())(log)(/(ijjijjjijabpabpbpCabpCjjjjbPC2)(,2log3.5多符号离散信道离散序列信道信道p(Y/X)YXX=(X1X2…XN)Xi{a1,a2,…,ar}Y=(Y1Y2…YN)Yl{b1,b2,…,bs}离散无记忆序列信道LlllLLXYpXXYYpp111)/()/()/(XY3.5多符号离散信道11111例：BSC的2次扩展信道：X{00,01,10,11},Y{00,01,10,11},二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p20010110100011011扩展信道的转移概率矩阵22222222)1()1()1()1()1()1()1()1()1()1()1()1(ppppppppppppppppppppppppP]),1(),1(,)1[(4log2222ppppppHC若p＝0.1，则C2＝2－0.938＝1.0623.6离散无记忆扩展信道的信道容量如果信道无记忆:如果信源无记忆:信源无记忆的无记忆信道：1111)()/(log)()/()()()/(log)()/()();(YXYXYXYXXYYXpppXYHYHpppYXHXHINNNNNNNlllYXII1);();(YXNlllYXII1);();(YX);();(YXINIYX3.6离散无记忆扩展信道的信道容量11111当信道平稳时CN=NC1，一般情况下，I(X;Y)NC1NlNlllPNlllPPNlCYXIYXIICX111)();(max);(max);(maxXXYX3.7组合信道串联信道信道1信道2…信道m串联信道C(1,2)=maxI(X;Y)，C(1,2,3)=maxI(X;Z)…例题.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量1121PP3.7组合信道222221)1()1(2)1(2)1(1111PPPI(X;Y)=1-H(),I(X;Z)=1-H[2(1-)]00.5100.20.40.60.81m=1m=2m=33.7组合信道定理:I(XY;Z)=I(Y;Z)，当且仅当信道是马尔科夫信道时，等号成立。如果X,Y,Z组成了一个马尔科夫链，则有：I(X;Z)=I(X;Y)，I(X;Z)=I(Y;Z)，普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著313.8信源与信道的匹配信道剩余度=C-I(X;Y)信道的相对剩余度=(C-I(X;Y))/C对于无噪信道：C=logr此时的相对剩余度=1-H(X)/logr