第3章信道与信道容量-PPT精品

普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著1第3章信道与信道容量信道分类和表示参数离散单个符号信道及其容量离散序列信道及其容量连续信道及其容量普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著23.1信道分类和表示参数信道分类用户数量：单用户、多用户输入端和输出端关系：无反馈、有反馈信道参数与时间的关系：固参、时变参噪声种类：随机差错、突发差错输入输出特点：离散、连续、半离散半连续、波形信道普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著33.1信道分类和表示参数信道参数号之间统计的依赖关系来描述信道输入输出信条件概率输出矢量为输入矢量为设信道)(,,),,,,(,,),,,,(121121Y/XYXpbbXYY，YaaXXXXmjjnii•信道种类有干扰有记忆信道有干扰无记忆信道无干扰信道321普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著43.1信道分类和表示参数二进制对称信道（BSC）pppp11P1-p1-ppp0110普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著53.1信道分类和表示参数离散无记忆信道nmnnmmppppppppp212222111211Pb2a2a1anbmb1普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著63.1信道分类和表示参数离散输入、连续输出信道222/)(21)/(iayiYeayp+XYG普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著73.1信道分类和表示参数波形信道+x(t)y(t)n(t))()(),()(),()/(),,/,,()/(,,2121npxpnxpxpyxpxypxxxyyypxypnxyxxyxYLLYY普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著83.2离散单个符号信道及其容量信息传输率信道在单位时间内平均传输的信息量定义为信息传输速率R=I(X;Y)=H(X)－H(X/Y)比特/符号Rt=I(X;Y)/t比特/秒信道容量比特/符号（bits/symbol或bits/channeluse）);(max)(YXICiap普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著93.2离散单个符号信道及其容量无干扰离散信道的信道容量XYXYXY1111111111111(a)无噪无损信道(b)无噪有损信道(c)有噪无损信道部分理想化的无干扰离散信道普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著103.2离散单个符号信道及其容量X、Y一一对应C＝maxI(X;Y)＝logn多个输入变成一个输出C＝maxI(X;Y)＝maxH(Y)一个输入对应多个输出C＝maxI(X;Y)＝maxH(X)普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著113.2离散单个符号信道及其容量对称DMC信道定义输入对称如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称输出对称如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称对称的DMC信道如果输入、输出都对称普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著123.2离散单个符号信道及其容量对称DMC信道例子3131616161613131216131312161613121普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著133.2离散单个符号信道及其容量输入对称•输出对称无关与iabpabpjijij)/(log)/()/()/(log)/()/(log)/()()/(ijijijjijijiixYHabpabpabpabpapXYHiijiijijabpnabpapbp)/(1)/()()(普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著143.2离散单个符号信道及其容量对称信道容量)/()(max)]|()([max)]|()([max);(max)()()()(XYHYHXYHYHYXHXHYXICiiiiapapapap＝mjijijippmaYHmC1loglog)|(log普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著153.2离散单个符号信道及其容量Eg.求信道容量3131616161613131P符号/082.0)61,61,31,31(4log2bitHC普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著163.2离散单个符号信道及其容量Eg.求信道容量111111111nnnnnnP信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1－，错误概率被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例)1,,1,1(lognnHnC普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著173.2离散单个符号信道及其容量二进制对称信道容量C＝1－H（）00.20.40.60.8100.20.40.60.81普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著183.2离散单个符号信道及其容量串联信道信道1信道2…信道m串联信道C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)…普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著193.2离散单个符号信道及其容量Eg.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量1121PP222221)1()1(2)1(2)1(1111PPP普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著203.2离散单个符号信道及其容量信道容量I(X;Y)=1-H()，I(X;Z)=1-H[2(1-)]00.5100.20.40.60.81m=1m=2m=3普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著213.2离散单个符号信道及其容量准对称DMC信道如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道3/16/13/16/16/16/13/13/11P7.01.02.02.01.07.02P普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著223.2离散单个符号信道及其容量准对称DMC信道容量对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量)/()(max)]|()([max);(max)()()(XYHYHYXHXHYXICiiiapapap＝普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著233.2离散单个符号信道及其容量Eg.求信道容量2.05.03.02.03.05.0P方法一：信道的输入符号有两个，可设p(a1)＝，p(a2)＝1－信道的输出符号有三个，用b1、b2、b3表示ijijbapbp)()(2.0)1(2.02.0)(2.05.0)1(5.03.0)(2.03.0)1(3.05.0)(321bpbpbp0);(YXI符号/036.0);(maxbitYXIC普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著243.2离散单个符号信道及其容量方法二当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4C=H(Y)-H(Y/X)=0.036bit/符号方法三将转移概率矩阵划分成若干个互不相交的对称的子集rkkksMNpppHnC121log)',','(logn为输入符号集个数；p1’，p2’，…ps’是转移概率矩阵P中一行的元素，即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著253.2离散单个符号信道及其容量方法三2.05.03.02.03.05.0P2.02.0,5.03.03.05.0符号/036.04.0log2.08.0log8.0)2.0,3.0,5.0(2log222bitHC普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著263.2离散单个符号信道及其容量Eg.求信道容量3/16/13/16/16/16/13/13/11P符号/041.0)6/16/1(log6/1)3/13/1(log3/1)6/13/1(log)6/13/1()6/1,6/1,3/1,3/1(2log2222bitHC普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著273.2离散单个符号信道及其容量一般DMC信道1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法•I(ai;Y)=C对于所有满足p(ai)0条件的I•I(ai;Y)C对于所有满足p(ai)=0条件的I当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著283.3离散序列信道及其容量离散序列信道信道p(Y/X)YXX=(X1X2…XL)Xl{a1,a2,…,an}Y=(Y1Y2…YL)Yl{b1,b2,…,bm}普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著293.3离散序列信道及其容量离散无记忆序列信道LlllLLXYpXXYYpp111)/()/()/(XY11111进一步信道是平稳的)/()/(xyppLXY)()/(log)()/()()()/(log)()/()();(YXYXYXYXXYYXpppXYHYHpppYXHXHILLLLLL普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著303.3离散序列信道及其容量离散无记忆序列信道11111如果信道无记忆如果输入矢量X中的各个分量相互独立LlllYXII1);();(YXLlllYXII1);();(YXLlLlllPLlllPPLlCYXIYXIICX111)();(max);(max);(maxXXYX当信道平稳时CL=LC1，一般情况下，I(X;Y)LC1普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著313.3离散序列信道及其容量扩展信道如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道11111BSC的二次扩展信道X{00,01,10,11}，Y{00,01,10,11}，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p20010110100011011普通高等教育“十五”国家级规划