第12讲――时间离散连续信道的容量

第四章信道容量—时间离散的连续信道第十二讲信道容量kaXjbY)(kjp)},({maxYXICkQDMC信道容量);(YXIReview信道容量计算几种特殊类型的信道－无噪无损信道－有噪无损信道－无噪有损信道准对称DMC信道可逆矩阵信道N次扩展信道组合信道最佳分布为等概解方程、试解NC积信道、和信道、级联信道Review信道1和信道2同时传送信息)',(kk)',(jj)''()()''(kjpkjpkkjjp信道1kaX1jbY1)(kjp信道2'2kaX'2jbY)''(kjp积信道21CCCReview最佳利用：使每个分信道的输入相互独立，且分布为最佳若任一时间随机选用（两者不能同时选用）21XXX21YYY2121Y'j,Y,Xk',Xk:)''(),(jkjpkjp和信道信道1kaX1jbY1)(kjp信道2'2kaX'2jbY)''(kjp)()(21)|(00)|(MJNKMNJKuvpxyp21222CCCReview最佳利用：CCnnp2并使每个分信道的输入分布为最佳若将信道1的输出作为信道2的输入，信道1的输入集就是组合信道的输入集，信道2的输出集就是组合信道的输出集。称这样组成的信道为级联信道，又称串行信道。信道1kaX1jbY1)(kjp信道2'2kaX'2jbY)''(kjp级联信道转移概率jjkjpkjpkjp)'()()'('连续信道的容量信道XxnYyn)(21N,x,,xx),,,(21Nyyy)|(xyp无记忆信道Nnnnxypp1)()(xy恒参（平稳）信道)()(mmnnxypxypmn.Xxxmn,Yyymn,时间离散的连续信道信道容量)},({max)(YXICxQ可加噪声信道若连续信道的条件概率密度满足)()()(zpxypxyp就称它为可加噪声信道，其中称作加性噪声。xyz+XxZz)(xQ)(zpYzxy)(yw输入输出干扰X与Z相互独立可加噪声信道容量dxdyxypxypxQ)(log)()(dxdzzpzpxQ)(log)()()()()(ZHdxZHxQcc噪声熵)()()()();(ZHYHXYHYHYXIcccc在加性噪声信道情况下，当信道给定，即干扰噪声的概率密度给定。那么求信道容量就在于对所有的输入分布求的最大值。)(XYHc)(zp)(YHc)(XYHc可加噪声信道容量dxdyxypxypxQ)(log)()(dxdzzpzpxQ)(log)()()()()(ZHdxZHxQcc噪声熵)()()()();(ZHYHXYHYHYXIcccc在加性噪声信道情况下，当信道给定，即干扰噪声的概率密度给定。那么求信道容量就在于对所有的输入分布求的最大值。)(XYHc)(zp)(YHc)(XYHc【例】已知条件：给定一个可加噪声信道（1）干扰z与信道输入x相互独立（2）),0(~2zNz，即222exp21)()()(zzzpxypxypz（3）),0(~2xNx，即222exp21)(xxxxp求信道输入和输出之间的平均互信息？【解】由已知，信道输出y是两个正态分布的叠加，因而),0(~22zxNy，于是信道输入输出之间的互信息量为)()();(ZHYHYXIcc2222log21)(2log21zzxee)1log(2122zx【注】：当信道干扰给定下，若输入功率不受限制，I(X;Y)可为任意大。定理1平均功率受限的时间离散、恒参、可加高斯噪声信道的容量为)1log(212SC平均功率受限的可加噪声信道容量其中，S是输入平均功率的上限，是均值为0的高斯噪声的方差。最佳输入分布就是均值为0、方差为S的高斯型分布。2平均功率受限的可加噪声信道容量证明对可加噪声信道有)()();(ZHYHYXIcc22222][][][][SzExEzxEyE（X与Z独立）要使I(X;Y)最大，即要)(YHc最大，从而),0(~2SNY此时有)(2log21)(2SeYHc22log21)(eZHc从而可得)1log(21)]()([max);(max2)()(SZHYHYXICccxQxQ要使Y正态分布，),0(~SNX平均功率受限的可加噪声信道容量定理2（平均功率受限的可加非高斯噪声信道）平均功率受限、时间离散、恒参、可加噪声信道的容量)log(21)log(212222SCS其中，2是Z的熵功率。在给定噪声功率情况下，高斯干扰是最坏的干扰，在它的作用下的信道容量最小。如果信道干扰统计特性未知，把干扰看作高斯分布比较安全。【注】)log(2122S证明：在可加噪声下，信道输出功率为22222][][])[(][SzExEzxEyE输出熵为)(2log21)(2SeYHc由)()();(ZHYHYXIcc可知)()(2log212ZHSeCc222log21)(2log21eSe22log21S即上限成立。平均功率受限的可加噪声信道容量平均功率受限的可加噪声信道容量熵功率不等式对于集合X,Y,Z,若zxy,且X,Z是相互独立、均值为0，则22222xyx若选择输入功率为S的高斯信号x，由上不等式左边部分，有)(2log21)(2SeYHc从而),0(~)(2);();(maxxSNXxQYXIYXIC222log21)(2log21eSe)1log(212S即下限成立。平行可加高斯噪声信道容量信道XxnYyn)(21N,x,,xx),,,(21Nyyy)|(xyp最佳分布为各个输入符号相互独立，并保证每个符号的输入分别最佳。1NnnCCN个独立并行信道的组合平行可加高斯噪声信道容量若各时刻上的噪声都是均值为0，方差为的高斯噪声，此时信道容量为22log(1)2NSC当且仅当输入信号X各分量统计独立，并都是均值为0，方差为S的高斯变量时等号成立。若各时刻上的噪声仍是均值为0，但方差为不同的高斯噪声时，情况怎样呢？NnnnSC12)1log(21平行可加高斯噪声信道容量若信道输入为),,,(21Nxxxx，输出为),,,(21Nyyyy信道干扰z~,),0(2nNNn,,2,1，则信道容量为NnnnSC12)1log(21约束条件为SSNnn1当输入各分量服从),0(nSN时达到信道容量。nS应该如何取值，才能使NnnnS12)1log(21在约束条件SSNnn1下取最大值？问题：平行可加高斯噪声信道容量并行可加高斯噪声（AWGN）信道的组合信道的容量BnnNnnnnBSC2:212log21)1log(21其中，2n是噪声在各单位时间上的方差，B为常数。Bn2时，选BSnn2当Bn2时，选0nSSn的选择应该这样进行：当B1S2S4SNS21222324252Nn功率平行可加高斯噪声信道容量这个结果形象的解释就是将信道看作是底部由干扰方差所决定的起伏不平的容器，将信号能量E看作是水，将这些水倒入容器中就形成一个高为B的水平面。当时，就没有水注入该单元；越小，进入该单元的水就越多，即分到的能量就越大。Bn22n注水定理用拉格朗日乘因子法来求解极值问题。NnnNnnnNsSSSSSSF11221)1log(21),,,(令0),,,(21NsnSSSFS，可得01212nnS从而KSnn212将上式代入约束条件SSNnn121NnnSNK即NSKNnn12（各分量平均功率的算术平均值）首先作辅助函数可得综上，各信道的输出功率应相等，且等于各分量平均功率的算术平均值时，即NSSNnnnn122才能保证联合信道容量最大。212nNllnNSSNn,,2,1注意求解过程中，并没有考虑0nS因此上述结果需要验证。这一条件，平行可加高斯噪声信道容量因而若计算出的有负值，必须置来代替算得的负值。这就为边界极值问题，表明当某一信道的噪声功率大于常数K时，该信道无法利用。为了保持总功率不超过S，另一些信道的输入功率还必须相应调整。设有q个，即小于0，则功率重新分配为nS0nS2n0lSqSSS,,,210nSqn,,2,1212nNqllnqNSSNqn,,1若此时仍有0lS，再次进行调整，直至剩余的所有0lS假如经过多次调整，有m个0lS，即mSSS,,,21小于0，则功率重新分配为0nSmn,,2,1212nNmllnmNSSNmn,,1从而求得NmiiNmjjmNSC1212)(log21令)(12mNSBNmjj则上式可写成NBnnnBC2:2log21于是，定理得证。【注】这个定理说明，当并行组合信道各分信道的干扰功率不等时，为达到最大传信能力，要求对输入信号总能量适当的进行分配。分配按条件进行，当时，不分配能量，既不传任何信息；当时，使信号功率和信道噪声功率之和为常数，这样才能保证总的容量最大。Bn2Bn2BnnNnnnnBSC2:212log21)1log(21平行可加高斯噪声信道容量平行可加高斯噪声信道容量【例】设有10个独立并行的高斯信道，其干扰强度分别为0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9和1.0。求容许输入总功率S分别为5和1时的组合信道的容量？2n(1)S=505.1100.12.01.05KKSn05.1KB2nnBS,求得分别为0.95,0.85,0.75,0.65,…,0.05NBnnnBC2:2log21bits1.60.12.01.005.1log2110(2)S=165.0100.12.01.011K010987SSSS517.066.02.01.012K06S310.10.20.50.55KB2nnBS,求得分别为0.4,0.3,0.2,0.1,0,0,0,0,0,0NBnnnBC2:2log21bits4.24.03.02.01.05.0log214【例】设有10个独立并行的高斯信道，其干扰强度分别为0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9和1.0。求容许输入总功率S分别为5和1时的组合信道的容量？例：双输出高斯信道考虑在X上带有两个相关观察的可加高斯噪声信道，即输出Y=(Y1,Y2)，其中Y1=X+Z1Y2=X+Z2并对X的功率限定为P，以及(Z1,Z2)~N2(0,K),其中求该信道的容量。NNNNK)/()(max);(max2121)(21)(XYYHYYHYYXICccxpXp)()/(21212121zzpxyypzzyxy)1(2log212log21)()()(max2222212121)(NeKeZZHZZHYYHCcccxp解：信道容量加性高斯信道)2)(1(2log21'2log21)(2221NNPNeKeY