当前位置:首页 > 电子/通信 > 综合/其它 > 第12讲――信道与信道容量
信道与信道容量第十二讲信道:信息传输的通道–在通信中,信道按其物理组成被分成微波信道、光纤信道、电缆信道等。信号在这些信道中传输的过程遵循不同的物理规律,通信技术必须研究信号在这些信道中传输时的特性。–信息论不研究信号在信道中传输的物理过程,而是用数学方法研究信息在信道中传输的规律。因而我们首先需要确定信道的数学模型。信道输入X输出Yp(Y|X)信道基本概念设信道的输入X=(X1,X2…XN),Xi∈{0,1…K-1}输出Y=(Y1,Y2…YN),Yj∈{0,1…J-1}信道转移概率矩阵p(Y|X):–描述输入和输出的统计依赖关系,反映信道统计关系信道XYp(Y|X)信道数学模型Xp(Y|X)Y•按信道的输入和输出在幅度和时间上的取值–时间离散的离散信道(离散信道)–时间离散的连续信道(连续信道)–时间连续的离散信道–时间连续的连续信道(波形信道)信道分类•按输入输出之间关系的记忆性来划分:–无记忆信道信道的输出只与信道该时刻的输入有关,而与其它时刻的输入无关–有无记忆信道信道的输出不但与信道现在时刻的输入有关,而且还与以前时刻的输入有关信道分类•按输入输出信号之间的关系是否是确定关系–无干扰信道:输入和输出符号之间有确定的一一对应关系–有干扰信道:输入和输出之间关系是一种统计依存的关系•输入和输出的统计关系:–恒参信道和随参信道–对称信道和非对称信道信道分类信道1,,2,1,0KX1,,2,1,0JYN21,x,,xxN1yyy,,,21212(|)(,,,|,,,)NNNppyyyxxxyx)|(xyNp离散无记忆信道)|()|()|(2211NNxypxypxyp1101101,11,10,11,11,10,11,01,00,0KpppppppppPJJKKKJJ)|(nnxyp信道转移矩阵–已知X,信道输出Y表现出来的统计特性–完全描述了信道的统计特性,其中有些概率是信道干扰引起的错误概率,有些是正确传输的概率niabpmjij,2,11)|(1)|()|()|()|()|()|()|()|()|(2122221112112121nmnnmmnmabpabpabpabpabpabpabpabpabpaaaPbbb信道转移矩阵–输入符号X取值{0,1}–输出符号Y取值{0,1}–信道转移概率p(0|0)=1-pp(1|1)=1-pp(0|1)=pp(1|0)=p0101pp1-p1-p101110ppppP无错误传输的概率传输发生错误的概率二元对称信道(BSC)–输入符号X取值{0,1}–输出符号Y取值{0,1,2}–转移矩阵021011-pp1-ppppppP1001二元删除信道(BEC)p(0|0)=1-pp(0|1)=0p(2|0)=pp(2|1)=pp(1|0)=0p(1|1)=1-p•我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量,即信道的信息传输率•平均互信息I(X;Y)–接收到符号Y后平均每个符号获得的关于X的信息量。–每传递一个符号流经信道的信息量,即信息传输率信道容量10101010101010)|()()|(log)|()()()|(log)()()|(log)();(KzKxJyKxJyKxJyzypzqxypxypxpypxypxyPxpyxpxyPYXI信道容量给定转移概率P后,平均互信息I(X;Y)是输入信源的概率分布p(x)的上凸函数。离散无记忆信道的信道容量定义为即为改变输入分布时,使每个符号所能含有的平均互信息量的最大值,相应的输入分布称为最佳分布。);(max}}1,,1,0{),({YXICKxxqq信道容量C与信源无关,只是信道转移概率的函数,不同的信道就有不同的信道容量,它反映了信道本身的传信能力。回顾定义输入概率矢量KQQQQ,,,10达到转移概率为)(kjp的DMC的容量C的充要条件为CYkxI);(0,kQkCYkxI);(0,kQk其中,iijijpQkjpkjpYkxI)()(log)();(达到C的充要条件在给定输入分布下,若某个输入k与所有输出事件之间的平均互信息大于其它任一输入与所有输出之间的平均互信息,我们就可以通过更经常采用这个输入k(即加大Qk)来增大。但这样做会改变每个输入与所有输出之间的平均互信息量(由概率归一性约束)。通过足够多次的调整输入概率分布,就可使每个概率不为零的输入与所有输出之间的平均互信息量任意接近。定理与直观概念一致);(YXI是kQ的上凸函数,故必有最大值,由K-T条件,kQ为最佳分布的充要条件是kQYXI);(0,kQkkQYXI);(0,kQk为常数达到C的充要条件证明:jmKiimkkijpQmjpmjpQQQYXI10)()(log)();(jkmKiimKiikkijpQmjpmjpQijpQkjpkjpQQ1010loglogjmKiimKiiijpQkjpmjpQeijpQkjpkjp1010loglogjjKiikjpeijpQkjpkjploglog10jkmKiimKiikkijpQmjpmjpQijpQkjpkjpQQ1010loglog0,kQk0,kQk为常数从而充要条件为eYkxIlog);(eYkxIlog);(eYkxIlog);(令eClog,则CYkxI);(对CYkxI);(左右两边乘以kQ,并对Xk得到给定信道在分布kQ即达到了信道容量值。CYXI),(下,输入和输出之间的信息量0,kQk0,kQk为常数从而充要条件为eYkxIlog);(eYkxIlog);(则充要条件可写为CYkxI);(0,kQkCYkxI);(0,kQk求和,就可以•对于一般信道,信道容量计算相当复杂,我们只讨论某些特殊类型的信道•几种特殊类型的信道-无噪无损信道-有噪无损信道-无噪有损信道-对称、准对称信道信道容量计算•无噪无损信道–输入和输出符号之间有确定的一一对应关系X100010001Pa1b1Ya2b2a3b3111无噪无损信道容量X0001001001001000Pa1b1a2b2an-1bn-1anbn11Y噪声熵H(Y|X)=0,损失熵H(X|Y)=0因此)()(),(YHXHYXInYXICiap2)(log);(max无噪无损信道容量•无噪有损信道–多个输入变成一个输出(n>m)X1010010101Pa1b1a2a3a4b2a511111输出Y是输入X的确定函数,但不是一对一,而是多对一无噪有损信道容量Y噪声熵H(Y|X)=0损失熵H(X|Y)≠0)()(),(XHYHYXImYHYXICiaplog)(max);(max)(•有噪无损信道–一个输入对应多个输出(n<m)Xb1Ya1b2b3a2b4b51/31/31/31/43/4111003331300044P有噪无损信道容量接收到符号Y后,对发送的X符号完全确定的。噪声熵H(Y|X)≠0,损失熵H(X|Y)=0)()(),(YHXHYXInXHYXICiaplog)(max);(max)(对称性:–若P的任一行是第一行的置换,则称信道是关于输入为对称的。–若P的任一列是第一列的置换,则称信道是关于输出为对称的。–若信道是关于输入为对称的,又是关于输出为对称的,则称信道为对称信道。2131616121313161213131616161613131PP对称信道7.01.01.02.02.07.03161316161613131PP不具有对称性若信道输出集Y可以划分成几个子集,而每个子集所对应的信道转移矩阵P中的列组成的子阵具有如下性质:(1)任一行是第一行的置换,(2)任一列是第一列的置换。则称信道为准对称信道。准对称信道若列子集只有一个,则为对称信道。定理1若DMC关于输入为对称的,则对任意k∈{0,1,…,K-1})|(1log)|()|(1log)|(1010kjpkjpijpijpJjJj)|()|(1log)|()|(10kXYHkjpkypXYHJj)|(1log)|()()|(1log)|()()|(10101010ijpijpipijpijpipXYHKiJjKiJj准对称信道特点证明关于输入对称,则P的任一行是第一行的置换,即10)|(1log)|()|(JjkjpkjpXYHk于是定理2若DMC关于输出为对称的,则当输入分布等概时,输出分布等概。证明关于输出对称,即任何一列是第一列的置换设q(x)=1/K,x∈{0,1,…,K-1},则101010)|0(1)|(1)|(KkKkKkkjkpKkjpKkjpQw准对称信道特点根据概率归一性,Jwj1此时JKkjpKk10)|(,即输出等概分布定理3对于准对称DMC信道(1)达到信道容量的最佳输入分布为等概分布;(2)信道容量为kYkXIijpKkjpkjpCJjKi;);()|(1)|(log)|(1010准对称信道容量特点最佳输入分布为等概分布kYkXIijpKkjpkjpCJjKi;);()|(1)|(log)|(1010若信道为准对称,则当输入等概时,有1010)(1)(log)();(JjKiijpKkjpkjpYkxIsYjKisijpKkjpkjp10)(1)(log)(子集Ys中相应子阵的列是可置换的,所以,对此子阵中的每一个输出j,概率证明准对称信道容量特点10)(1KiijpK准对称,可将可将Y划分为一些子集Ys都相等,又在同一个子阵中,各行又都是第1行的置换,所以constijpKkjpkjpijpKkjpkjpYsjKiYsjKi1010)(1)'(log)'()(1)(log)(sYjconstconstYkxIks);(满足了K-T条件,从而证明输入等概情况下达到信道容量。准对称信道容量特点准对称DMC信道准对称信道容量计算公式101010)(1)(log)()(log)();(JjKiJjjijpKkjpkjpwkjpkjpYkxIC对称DMC信道10)(log)(logJjkjpkjpJC本节小结信道基本概念信道容量–信道分类(本节内容见课本102-109页)–信道数学模型–定义–达到信道容量充要条件–信道容量计算无噪无损信道、有噪无损信道、无噪有损信道、对称、准对称信道
本文标题:第12讲――信道与信道容量
链接地址:https://www.777doc.com/doc-3734871 .html