第13讲——组合信道的容量

组合信道的容量第十三讲信道容量kaXjbY)(kjp)},({maxYXICkQ信道容量);(YXIN21,x,,xxN1yyy,,,2)|(xyNp)|()|()|(2211NNxypxypxyp),,,|,,,()|(22N1N1Nxxxyyyppxy离散无记忆Review达到C充要条件输入概率矢量KQQQQ,,,10达到转移概率为)(kjp的DMC的容量C的充要条件为CYkxI);(0,kQkCYkxI);(0,kQk其中，iijijpQkjpkjpYkxI)()(log)();(Review信道容量计算•对于一般信道,信道容量计算相当复杂,我们只讨论某些特殊类型的信道•几种特殊类型的信道－无噪无损信道－有噪无损信道－无噪有损信道－对称、准对称信道Review【定理】准对称DMC的最佳分布为等概分布。【准对称信道容量公式】10)(log)();();(JjjwkjpkjpYkxIYXIC1010)(1)(log)(JjKiijpKkjpkjp10)(log)(logJjkjpkjpJC准对称信道容量计算Review可逆矩阵信道容量jjjkjpkjpkjp)(log)()(1,,1,0Kk)2log(jjCCjjw2kkjkjpQw)(列方程组计算信道容量验证ReviewN次扩展信道容量信道1,,2,1,0KXxnn1,,2,1,0JYynn)(N21,x,,xx),,,(2N1yyy)|(xyNpNXNY)|(nnxypNCYXIYXINnnnNN1);();(【定理】信道1)(11xyp1X1Y信道2)(22xyp2X2Y信道N)(NNxypNXNYN次扩展信道容量组合信道若信道1和信道2同时传送信息，则组合信道的输入集由所有的有序对组成，其中)',(kk1Xk2'Xk输出集由所有的有序对组成，其中)',(jj1Yj2'Yj)''()()''(kjpkjpkkjjp转移概率，称这样组成的信道为信道1和信道2的独立并行信道或积信道。信道1和信道2称作积信道的分信道。信道1kaX1jbY1)(kjp信道2'2kaX'2jbY)''(kjp积信道定理独立并行信道的容量C为各分信道容量之和21CCC证明：);();(2121YYXXIYXI'')'()''(log)''(kkjjjjwkkjjpjjkkp'')'()''()(log)''(kkjjjjwkjpkjpjjkkpkjjwkjpkjpYXI)(log)();(11'')(log)''(kkjjjwkjpjjkkp积信道'''22)''(log)''();(kjjwkjpjkpYXI''')''(log)''(kkjjjwkjpjjkkp);();();(22112121YXIYXIYYXXI''')'(log)''(kkjjjjjj'')'(log)'(jjjjjj]1)'()['()(log''jjjjjj特别注意')'(jjwwjjw时等号成立。条件下，相当于要求)''()()''(kjpkjpkkjjp')'(kkQQkkQ即要求两个分信道的输入彼此独立。这样对于积信道的最佳利用是将两个信道独立地使用，并使每个分信道的输入分布为最佳，就能保证到达信道容量。推论（N个独立信道构成的并行信道）设每个分信道的输入空间、输出空间和转移概率分布相应为Xn，Yn和Pn，则合成的积信道的输入、输出空间及转移概率分布和容量分别为NnnXX1NnnYY1NnnPP1和NnnCC1【例】DMC的N次扩展信道【例】波形信道看作是时间离散的连续信道的组合积信道若任一单位时间可随机地选用信道1或信道2中的一个（两者不能同时选用）。选用信道1的概率为p1，选用信道2的概率为p2,且p1+p2=1。组合信道的输入空间为称此组合信道为和信道，或称作并信道。21XXX输出空间为，转移概率分布为21YYY2121Y'j,Y,Xk',Xk:)''(),(jkjpkjp和信道信道1kaX1jbY1)(kjp信道2'2kaX'2jbY)''(kjp【例】ppppP111qqqqP10012此时和信道的转移概率矩阵为qqqqppppPPP100001000001000121和信道)()(21)|(00)|(MJNKMNJKuvpxyp和信道的互信息为',''2'2,11)''(log)''()(log)();(jkjkjkjkwpkjpkjpQpwpkjpkjpQpYXI','''2,1)''(log)''()(log)(jkjkjkjkwkjpkjpQpwkjpkjpQp2211loglogpppp)();();(222111PHpYXIpYXI其中2211loglog)(ppppHP和信道定理信道1和信道2的和信道的容量C满足21222CCC证明：)();(max);(maxmax);(max222'111',,PHpYXIpYXIYXICQQPQQP)(max2211PHCpCpP)1(12pp)1log()1(log)1(max11112111ppppCPCpP令epepCCdpYXdIlog)1log(loglog);(112110loglog2121ppCC所以2211loglogpCpC解之121cp222cp和信道又,则121pp21222cc或]22log[21cc回代入关系式2211loglogpCpC)(2211PHCpCpC则21222CCC和信道可得)(loglog2211PHppppC21pp121cp222cp定理信道1和信道2的和信道的容量C满足21222CCC证明：)();(max);(maxmax);(max222'111',,PHpYXIpYXIYXICQQPQQP)(max2211PHCpCpP)1(12pp)1log()1(log)1(max11112111ppppCPCpP令epepCCdpYXdIlog)1log(loglog);(112110loglog2121ppCC所以2211loglogpCpC解之121cp222cp和信道推论（N个独立信道的和信道）若各分信道的输入、输出空间、转移概率和容量分别为Xn，Yn和Pn和Cn，则和信道的信道容量为NnCnC12log每个信道被利用的概率为CCnnp2和信道【例】求解信道的容量C1000101ppppP和信道解和信道ppppP11112P)(11phC02C12log)(12pHC12/22)(1)(111pHpHCCp121pp最佳分布11021pQQ22pQ若将信道1的输出作为信道2的输入，信道1的输入集就是组合信道的输入集，信道2的输出集就是组合信道的输出集。称这样组成的信道为级联信道，又称串行信道。信道1kaX1jbY1)(kjp信道2'2kaX'2jbY)''(kjp级联信道转移概率jjkjpkjpkjp)'()()'('将信道1与信道2级联，组成级联信道，求其信道容量和最佳输入分布。级联信道100.250.750.80.201信道1信道2100.250.750.80.2010.80.20.20.8BSC信道，C=1-H(0.2)，最佳分布为等概分布。级联信道级联条件下，可能以为合成信道容量为但事实上，它并不成立。通过级联以后的转移概率趋于两个信道转移概率的平均值因而传信能力将减少，这与信息不增原理相一致。可以证明，若将N个转移概率相同的BSC信道依次级联当，级联信道容量21,minCCCjjkjpkjpkjp)'()()'(N0C1-p01010101011-pt1-pt1-pt-11-pt-11-pptPt-1p)1()1(11ppppptttpppt)21(1pppptt)21(21pppptt)21(32pp1pppptt)21(1pppppt)21()21(210)21(tiipp2)21(1tp提示21作业4.14.34.54.84.9