武汉理工信息理论与编码chapter3

1第3章信道模型和信道容量主要内容描述和分析各种信道的的特性，度量信道的极限传输能力33.1信道模型与信道分类主要内容信道模型信道分类方法与类别41、信道模型输入X(t)（随机过程）信道输出Y(t)（随机过程）噪声干扰Z(t)（随机过程）输入/输出统计关系52、信道分类（和信源分类类似）（1）根据信道输入/输出信号在时间和幅值上的离散或连续来划分信道时间离散信道时间离散、幅值离散信道简称离散信道（discretechannel）时间离散、幅值连续信道简称连续信道（continuouschannel）时间连续信道时间连续、幅值离散信道时间连续、幅值连续信道简称波形信道（waveformchannel）66（2）根据信道的记忆特性划分无记忆信道：信道当前的输出只与当前的输入有关。有记忆信道：信道当前的输出不但与当前的输入有关，还与当前时刻以前的输入有关。（3）根据信道的输入/输出的关系划分无噪声信道：信道的输入/输出关系是确定关系。有噪声信道：信道的输入/输出关系是统计依存关系。（4）根据信道物理组成划分可分为很多类，较常见的有：有线信道、无线信道、光纤信道等。（5）根据信道的用户类型划分两端（单用户）信道：只有一个输入端和一个输出端的单向信道。多端（多用户）信道：有多个输入端和多个输出端的单向或双向信道。7（1）DMC的数学模型记为{X，PY|X，Y}XY噪声干扰DMC12{,,,}raaa12{,,,}sbbb|YXP3.2离散无记忆信道（DMC，discretememorylesschannel）的数学模型|{(|)|1,2,,;1,2,,}YXjiPPbairjs转移概率集合：8（2）转移（概率）矩阵12112111122222|12(|)(|)(|)(|)(|)(|)[](|)(|)(|)sssYXrrsrrbbbPbaPbaPbaaPbaPbaPbaaPPbaPbaPbaa1(|)1,1,2,,sjijPbair信道加一个输入，必然会产生一个输出，因此，转移矩阵中各行s个转移概率自身是完备的，即各行s个转移概率之和为1。9（3）信道线图11(|)Pba1a2a3b2b1b22(|)Pba21(|)Pba12(|)Pba31(|)Pba32(|)Pba112131|12223121223(|)(|)(|)[](|)(|)(|)XYPbaPbaPbaPPbaPbaPbababab信道线图转移概率矩阵行、列分别对应输入、输出1010一些DMC线图1p1ppp11002(删除元)0101p11p1p1ppp2b1b1a2a(1)prp1p11100221r1rZ型信道(Z-channel)2进制对称信道(BSC，binarysymmetricchannel)2进制删除信道(BEC，binaryerasurechannel)r进制均匀信道(r-aryuniformchannel)11113.3概率的计算问题输入概率矩阵：12[]()()()YsPPbPbPb输出概率矩阵：12[]()()()XrPPaPaPa转移概率矩阵：12112111122222|12(|)(|)(|)(|)(|)(|)[](|)(|)(|)sssYXrrsrrbbbPbaPbaPbaaPbaPbaPbaaPPbaPbaPbaaXY噪声DMC12{,,,}raaa12{,,,}sbbb1212×P(a1)1121112222|12(|)(|)(|)(|)(|)(|)[](|)(|)(|)ssYXrrsrPbaPbaPbaPbaPbaPbaPPbaPbaPba111212122212(,)(,)(,)(,)(,)(,)[](,)(,)(,)ssXYrrrsPabPabPabPabPabPabPPabPabPab×P(a2)×P(ar)联合概率矩阵：(1)由转移概率矩阵和输入概率求联合概率矩阵根据概率的乘法公式P(ai,bj)=P(ai)P(bj|ai)可求出联合概率矩阵[PXY]：转移概率各行乘以对应的输入概率[PXY]同一行元素相加--输入概率13131112121222|12(|)(|)(|)(|)(|)(|)[](|)(|)(|)ssXYrrrsPabPabPabPabPabPabPPabPabPabP(ai,bj)=P(bj)P(ai|bj)P(ai|bj)=P(ai,bj)÷P(bj)(2)根据联合概率矩阵和输出概率求后验概率矩阵111212122212(,)(,)(,)(,)(,)(,)[](,)(,)(,)ssXYrrrsPabPabPabPabPabPabPPabPabPab÷P(b1)÷P(b2)÷P(bs)后验概率矩阵:联合概率矩阵各列除以对应的输出概率联合概率矩阵同一列元素相加等于对应的输出概率1414输入概率矩阵、输出概率矩阵、转移概率矩阵之间的关系：[PY]=[PX][PY|X][PY]T=[PY|X]T[PX]T输入概率矩阵、输出概率矩阵、后验概率矩阵之间的关系：[PX]=[PY][PX|Y]T[PX]T=[PX|Y][PY]T(3)概率矩阵之间的关系行矩阵行矩阵1515[0.160.640.2]XYYPP将各列元素相加得对应的输出概率矩阵例3.1二进制删除信道输入概率为P(a1)=0.2，P(a2)=0.8。求各种概率的矩阵表示。a1a2b1b2（）b3删除元0.20.80.20.8解：|0.800.2[0.20.8],00.80.2XYXPP0.1600.0400.640.16XYP用P(a1)乘以PY|X的第一行，P(a2)乘以PY|X的第二行，得到联合概率矩阵：[PXY]同一行元素相加--输入概率矩阵1616|100.2[]010.8XYP||0.800.2[0.20.8]0.160.640.200.80.20.16100.20.20.64010.80.80.2TTYXYXXXYYYTXPPPPPPPP验证后验概率[PXY]各列除以P(b)17173.4信道的疑义度、散布度和平均互信息XY噪声DMC12{,,,}raaa12{,,,}sbbb(|()(()|(;)))HXYHXIXHHYYXY平均互信息量疑义度损失熵散布度噪声熵由于存在后验平均不确定性H(X|Y)，说明收到输出Y后对输入X还存有疑义。输入X的平均信息H(X)不可能全部到达输出，由于干扰的存在，从输入来的一部分信息在传输过程中损失掉了，损失部分就是H(X|Y)。18181信道的疑义度H(X|Y)：信道的疑义度或损失熵。无损信道：损失熵为零的信道。XY噪声DMC12{,,,}raaa12{,,,}sbbb(();))(|IXYHXHXY111111(|)(,)log()()(|)1(|)log(|)(|)rsssijjjijjjijrijjiijHXYPabPbPbPabPabHXYbPab121(|)(|)(|)log(|)[(|),(|),,(|)]rjjijijjjrjiHXbHXYbPabPabHPabPabPab后验概率矩阵[PX|Y]第j列的r个后验概率1919特例：后验概率矩阵各列r个后验概率中，只有一个为1，其余均为0，则(|)(1,0,0)0jHXbH这时损失熵为1(|)()(|)0sjjjHXYPbHXb——无损信道2020例3.2二进制删除信道输入概率为P(a1)=0.2，P(a2)=0.8。求平均互信息量。a1a2b1b2（）b3删除元0.20.80.20.8解：已知|0.800.2[]00.80.2YXP转移概率0.20.8XP0.1600.04[]00.640.16XYP联合概率转移概率矩阵各行乘以对应的输入概率：0.160.640.2YP联合概率矩阵各列元素相加：212110020108|.[].XYP后验概率123(|)(1,0)0;(|)(0,1)0;(|)(0.2,0.8)0.7219;HXbHHXbHHXbH()0.2log0.20.8log0.80.7219/HXbit符号输入熵：用联合概率矩阵各列元素除以对应的输出概率，得到220.160.640.2YP31(|)()(|)0.1600.6400.20.72190.1444bit/jjjHXYPbHXb符号(;)()(|)=0.7219-0.1444=0.5775bit/IXYHXHXY符号疑义度平均互信息23232信道的散布度H(Y|X)：信道的散布度或噪声熵。确定信道：噪声熵为零的信道。XY噪声DMC12{,,,}raaa12{,,,}sbbb(();))(|IXYHYHYX转移概率矩阵[PY|X]第i行s个转移概率1111111(|)(,)log()(|)log()(|)((|)|)rsrsrijijiiijijijijiiHYXPabPaPbaPaPbaPbaHYXa121(|)(|)(|)log(|)[(|),(|),,(|)]siijijiiisijHYaHYXaPbaPbaHPbaPbaPba24散布度表示信道因噪声干扰所呈现的无序程度，也可将其视为干扰信息的度量，由下式：(;)()(|)IXYHYHYX平均互信息可以理解为从信道输出信息H(Y)中减去干扰信息H(Y|X)，就是我们所要得到的关于输入X的有用信息I(X;Y)。特例：如果转移概率矩阵每行元素组成确定性分布，则(|)(1,0,0,0)0iHYaHi对所有这时噪声熵为0：1(|)(|)log(|)0sijijijHYaPbaPba25例3.3两个DMC的转移矩阵，假设输入等概分布，求平均互信息量。(b)||0.980.020.80.150.05()0.050.950.050.150.8YXYXaPP解：（a）因为输入等概分布，即0.50.5XP|0.980.020.50.50.5150.4850.050.95YXYXPPP()0.515log0.5150.485log0.4850.9994bit/HY符号12(|)(0.980.02)0.1414/(|)(0.050.95)0.2864/HYaHbitHYaHbit符号符号21(|)(|)()0.50.14140.50.28640.2139/iiiHYXHYaPabit符号26(;)()(|)0.99940.21390.7855/IYXHYHYXbit符号（b）解：|0.080.150.050.50.50.4250.150.4250.050.150.8YXYXPPP()(0.4250.150.425)0.425log0.4250.15log0.150.425log0.4251.4598/HYHbit符号(|)(0.80.150.05)0.88421,2iHYaHi21(|)(|)()0.8842/iiiHYXHXaPabit符号(;)()(|)1.45980.88420.5756bit/IXYHYHYX符号|0.80.150.05(b)0.050.150.8YXP2727