信息论与编码4

第4章离散信道的信道容量第4章离散信道的信道容量内容提要信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究信道，研究在信道中传输的每个符号所携带的信息量，并定义信道容量。4.1信道容量的定义信息传输率是衡量通信质量的一个重要指标，由定理2.1知：对于固定信道，总存在某种输入概率分布q(x)，使I（X;Y）达到最大值，定义这个最大值为信道容量，记为C。（比特/码符号）（4-2）使I（X;Y）达到信道容量的分布q(x)为最佳分布。);(max)(YXICxq4.2离散无记忆信道容量的计算定理4.1如果信道是离散无记忆（DMC）的，则CNNC，其中C是同一信道传输单符号时的信道容量。下面一条定理给出了一维信道和N维信道的信道容量之间的关系证明：对于DMC，由定理2.4知1;≤;NiiiIIXYXYmax;NqCIxXY1≤max;NiiqiIXYx1≤max;iNiiqXiIXY1NiiCNCCN≤NC（4-4）（2）对每个i,输入分布q(xi)可使I(Xi;Yj)达到信道容量C，则YXx;maxICqNNiiixqxqYXIN1;max1NNxqxqxqYXIYXIYXIN;max;max;max221121NCCNii1综合式(4-4)和(4-5)，在信源和信道都离散无记忆的情况下，有CN=NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。CNNC(4-5)若（1）输入的N个符号统计独立，即信源离散无记忆,根据[定理2.3]有：NijiYXII1);();(YX5.2.1达到信道容量的充要条件定理5.2使平均互信息量I（X;Y）达到信道容量C的充要条件是信道输入概率分布，简记为q(X)={q(x1),q(x2),…,q(xM)}满足：(4-6))()()()(2121MMxqxqxqxxxXqXMixqCYxIxqCYxIiiii,,2,10)(;0)(;若若介绍几种无噪信道，对于无噪信道，信道的输入X和输出Y之间有着确定的关系，一般有三类：无损信道、确定信道和无损确定信道。【例4.2】无噪确定信道无噪确定信道的输入符号集元素个数小于输出符号集的元素个数，信道的一个输入对应多个互不交叉的输出，如图4-2所示，信道输入符号集X={x1,x2,x3}，输出符号集Y={y1,y2,y3,y4,y5}，其信道转移概率矩阵记为，计算该信道的信道容量。63626100000021210000001P图4-2无损信道x1x2x3y1y2y3y5y62/61/63/61/21/21y42.根据定义计算信道容量C从上式可看出，求信道容量C的问题转化为寻找某种分布q(x)使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布时，熵值达到最大，即有)(max);(max)()(XHYXICxqxq31)()()(321xqxqxq3log)(max)(XHCxq1.先考察平均互信息量I（X;Y）=H（X）-H（X︱Y），在无噪信道条件下，H（X︱Y）=0，则平均互信息量I（X;Y）=H（X）3.根据平均互信息量I（X;Y）达到信道容量的充要条件式（5-6）对C进行验证：先根据计算出ω(yj)，j=1,2,3,4,5,631)()()(iijijxypxqy613166315531443133312231111)(616331)()()(916231)()()(1816131)()()(612131)()()(612131)()()(31131)()()(jjiiiiiiiiiiiiiiiiiiyxypxqyxypxqyxypxqyxypxqyxypxqyxypxqy满足3log311log1)()(log)();(61111jjjjyxypxypYxI3log6121log216121log21)()(log)();(61222jjjjyxypxypYxI3log6163log639162log6218161log61)()(log)();(61333jjjjyxypxypXxI再计算出：4.2.2几类特殊的信道定义4.1如果信道转移概率矩阵P中，每一行元素都是另一行相同元素的不同排列，则称该信道关于行（输入）对称。定义4.2如果信道转移概率矩阵P中，每一列元素都是另一列相同元素的不同排列，则称该信道关于列（输出）对称。定义4.3如果信道转移概率矩阵P可按输出符号集Y分成几个子集（子矩阵），而每一子集关于行、列都对称，称此信道为准对称信道。1.准对称信道定理4.3实现DMC准对称信道的信道容量的分布为等概分布。根据定理4.3，可以推导出对称信道和准对称信道的信道容量的计算公式。对称信道C的计算准对称信道C的计算)(log)(logijijjxypxypKCHKlog(P的行矢量)jijijsssxypxypMNKC)(log)(loglogsssHMNKloglog(P的行矢量)【例4.6】信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3,y4}，给定信道转移概率矩阵，求该信道的信道容量C。这是一个准对称信道，将矩阵P分成三个对称集，，，根据公式（4-9）1/41/21/81/81/81/21/41/8P418181411s21212s81813ssssHMNkCloglog(P的行矢量)81log81221log2141log4141log81-1log21-83log83-2log=0.031（比特/符号）【例4.7】信道输入符号集X={x1,x2,…,xK}，输出符号集Y={y1,y2,…,yK}，给定信道转移概率，写成矩阵形式为1()(,1,2,,)1jiijpyxijKijK111111111KKKKKKP，计算该信道的信道容量C。这是一个对称矩阵，根据公式（4-7）可算得：HKClog(P的行矢量)1-log1-1)-()1log()1(logKKKK=logKlog(K1)-H2()式中，H2()=log(1)log(1)其信道容量C=log2H2()=1H2()，如图4-5所示。从图中可看出，k=2时，C曲线关于=0.5对称。图4-5C-曲线讨论几个特殊点：①=0时，信道的输入符号和输出符号一一对应，信道容量C=log2，达到最大值。②=0.5时，信道的不确定性最大，信道容量C=0，这是一种最差的信道。③=1时，这是一种强噪信道，但也是一种确定信道，在这种情况下，可将判决取反，也能达到信道容量的最大值C=log2。图4-6=0时的信道图4-7=0.5时的信道图4-8=1时的信道【例4.8】信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3}，给定信道转移概率矩阵，求信道容量C。qqqq1001P设使平均互信息量达到信道容量的信源分布为q(x1)=，q(x2)=1-。由可算出3,2,1)()()(21jxypxqyiijij213321222111)1)(1()()()()1()()()()1()()()(iiiiiiiiiqxypxqyqqqxypxqyqxypxqy2.信源只含两个消息平均互信息量I(X;Y)=H(Y)–H(Y︱X)=-(1-q)[log+(1-)log(1-)]根据定义，求C的问题就转化为为何值时，I(X;Y)达到最大值。令则信道容量C=I(X;Y)︱a=0.5=1-q312131)(log)()()(log)(jijijijijjxypxypxqyy5.00;YXI计算信道容量C按下面步骤进行：(1)先验证信道转移概率矩阵P=[p(yj︱xi)]是方阵，且矩阵P的行列式︱[p(yj︱xi)]︱≠0；3.信道转移概率矩阵为非奇异方阵(2)计算出逆矩阵P－１=[p-1(yj︱xk)]；(3)根据式（4-17），计算出；KixypxypxYHKjijiji,,2,1)(ln)()(1KkKiikixYHxypC111)()(expln(4)根据式（4-18），计算出信道容量C；(5)验证是否满足q(xi)0，i=1,2,…,K。l先由式（4-16）计算出（yk）k=1,2,…,Kl再由式（4-21）计算Kixqi,,2,1)(【例4.9】给出信道转移概率矩阵，求信道容量C。2,8.02.01.09.0KP（1）P矩阵的行列式，说明P是一个非奇异方阵。08.02.01.09.0P（2）P的逆矩阵286.1286.0143.0143.179727178)(11ijxypP（3）算出212122211115.08.0ln8.02.0ln2.0)(ln)()(325.01.0ln1.09.0ln9.0)(ln)()(jjjjjjxypxypxYHxypxypxYH（4）信道容量（奈特/码符号）21211)()(explnkiikixYHxypC276.0)ln[55.03.0ee（5）下面验证是否q(xi)0，i=1,2l先根据算出l再算得2,1)()(exp)(211kxYHxypCyiikik438.0562.055.0276.023.0276.01ee21212211110483.0286.1438.0143.0562.0)()()(0517.0286.0438.0143.1562.0)()()(jjjjjjxypyxqxypyxq)]5.0286.1325.0286.0exp()5.0143.0325.0143.1ln[exp(图4－9两个信道4.3组合信道的容量考虑有两个信道。信道1信道2：])([},,,,{},,,,{12121ijjixypyyyYxxxXP信道转移概率矩阵：输出符号集：输入符号集：])([},,,,{},,,,{''2'2'1'/'2'1'/ijjixypyyyYxxxXP信道转移概率矩阵：输出符号集：输入符号集：信道编码器XY信道译码器X/Y/4.3.1独立并行信道在这种情况下，二个信道作为一个信道使用，传送符号，接收符号，根据定理2.4，对于离散无记忆信道，下式成立（4-22）/XX/YY);();();(////YXIYXIYYXXI对上面不等式两边取最大值，得CC1+C2（4-23）推广到N个信道的并行组合，当N个信道并行独立使用时，记Ck(k=1,2,…,N)为第k个信道的信道容量，C为组合信道的总容量，则有（4-24）NkkCC1等号成立的条件，都要求信源离散无记忆，即要求信道独立使用且输入独立。4.3.2和信道两个信道轮流使用，使用概