信息论与编码第3章-2

耶疆佑曝俄置勺儒闯普恶逾荚棵蝶炽姜砾还吐详航嫁对粳缔沪獭恨牙党鲁信息论与编码第3章-2信息论与编码第3章-2信道与信道容量第三章凸霸愤埋碌蚊侵巨筐阿焉阑榔受榔肛涧僻绍锯撕阀焕棱槐纸肥炯焰店钻力信息论与编码第3章-2信息论与编码第3章-223.1信道分类和表示参数3.2离散单个符号信道及其容量3.3离散序列信道及其容量3.4连续信道及其容量内容安币谆辨媒秸孤哀坐椒瘤旷袒刽秘恬旬勃霍她兜恤错参艇息貌醛袭袖箔呼信息论与编码第3章-2信息论与编码第3章-23信道•设信道的输入X=(X1,X2…Xi,…),Xi∈{a1…an}输出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}•信道转移概率矩阵p(Y|X)：–描述输入/输出的统计依赖关系,反映信道统计关系信道XYp(Y|X)俏泰祸溪宦扯承硝哥度锈具狞集颤寓柱悔贷奉会同撑盎绝木纂初触瓶溶苯信息论与编码第3章-2信息论与编码第3章-24无干扰(无噪声)信道•无干扰(无噪声)信道–信道的输出信号Y与输入信号X之间有确定的关系Y=f(X),已知X后就确知Y–转移概率:)f()f(pXYXYXY,0,1)|(璃寒副细评船指骗郑檄秘爆遗摩框高扇剩雕脖蹈诬帖振檬局仰疡碑伙随意信息论与编码第3章-2信息论与编码第3章-25有干扰无记忆信道•有干扰无记忆信道–信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:)|()|()|()|(2211LLxypxypxyppXY有干扰无记忆信道可分为:二进制离散信道离散无记忆信道离散输入、连续输出信道波形信道此糜怯蔼舟岸亚眶螺弃霓彦琼坐贫门喀墓闷葫凉谴再佰颓郡饿诽如臻牛沛信息论与编码第3章-2信息论与编码第3章-26离散无记忆信道DMC•信道输入是n元符号X∈{a1,a2,…,an}•信道输出是m元符号Y∈{b1,b2,…,bm}•转移矩阵–已知X,输出Y统计特性nnmnnmmmaaapppppppppPbbb2121222211121121a1a2anb1b2bm::::::p11p12p21p22pnmniabpmjij,2,11)|(1第殃迎昆拒鸥曹瑶心汞烟刮谣涉滦榔恬臣味挖翱视岿俐扎职吓舆棵燥眠闰信息论与编码第3章-2信息论与编码第3章-273.2离散单个符号信道及其容量宫懦朴棺邵狄厢带奢邢欧壤智耘荐戳挽脊赖聊棠虐姑意糊佛要件某巩绅哄信息论与编码第3章-2信息论与编码第3章-28信道容量•平均互信息I(X;Y)：–接收到符号Y后平均每个符号获得的关于X的信息量。niijijijijijijxypxpypypxypxypxpYXI1)|()()()()|(log)|()();(信道的信息传输率就是平均互信息碾晓筐娜甘习淌池糯悼坦蜜镁痛谆万措仕企既麻汕籍户窜壬贴案及摩尘瘤信息论与编码第3章-2信息论与编码第3章-29信道容量•信道容量C：–最大的信息传输率);(max)(YXICiap单位时间的信道容量：);(max1)(YXITCiapt眺谗宪斑鱼淫权剂编沉司栋锨登靖籍藉唐趁晃腮拧敞傻野叭俯钙熙的泌惠信息论与编码第3章-2信息论与编码第3章-210信道容量的计算•对于一般信道,信道容量计算相当复杂,我们只讨论某些特殊类型的信道：•离散信道可分成：•无干扰(无噪)信道–无嗓无损信道–有噪无损信道–无噪有损信道•有干扰无记忆信道•有干扰有记忆信道夸囚况亨抠顽萎斥哮糯辊崭木刹铬啊婶让面漾粤臂咎熔兴仍博老狭晶户孪信息论与编码第3章-2信息论与编码第3章-211无干扰离散信道•无嗓无损信道nYHXHYXICiap2)(log)(max)(max);(max有嗓无损信道mYHYXICiap2)(log)(max);(max无嗓有损信道nXHYXICiap2)(log)(max);(max清呆配袱迟惑揖鹰刷筷妓照卢骗娟署佑败惧畅拐绿嫌韧驴抗肃翻显狼胆式信息论与编码第3章-2信息论与编码第3章-2123.2.1对称DMC信道•对称离散信道：•对称性:–每一行都是由同一集{p1,p2,…pm}的诸元素不同排列组成——输入对称–每一列都是由集{q1,q2,…qn}的诸元素不同排列组成——输出对称2131616121313161213131616161613131PP满足对称性,所对应的信道是对称离散信道。账拙还塌曰沛资硒茅衰榔兜爵秧坚寨影爬萍烦扇角凳犊衔驭累右艰啄荔煞信息论与编码第3章-2信息论与编码第3章-213对称DMC信道•信道矩阵7.02.01.01.02.07.03161316161613131PP不具有对称性,因而所对应的信通不是对称离散信道。侥秧丈敬晕例叉出鸵鳖萧魏孩彪茧乡溪茬抢坷粹调个抡帅属秧滤茸坯雷袁信息论与编码第3章-2信息论与编码第3章-214对称DMC信道•若输入符号和输出符号个数相同,都等于n,且信道矩阵为pnpnpnppnpnpnppP111111111此信道称为强对称信道(均匀信道)信道矩阵中各列之和也等于1诉跟死计碘台惋猜磐炊呆喳哨担贤沼希赣萄恿魏苇磁剃某盔逻阻透姬讣冗信息论与编码第3章-2信息论与编码第3章-215对称DMC信道•对称离散信道的平均互信息为)|()()|()(),(XYHYHYXHXHYXIniaYHabpabpabpabpapXYHiijjijijijiji,2,1)|()|(log)|()|(log)|()()|(),,()|()|(21mipppHaYHXYH伪汇纫嗓氰吗店夜恿馁场箔鼻咸疙低施亏础饵帕姐樊它骏恶微畦串顺筒殃信息论与编码第3章-2信息论与编码第3章-216对称DMC信道•对称DMC信道的容量：上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量{p1,p2,…pm}和输出符号集的个数m有关。ijmjijmppmpppHmC121loglog),(log强对称信道的信道容量：)1,,1,1(log2npnppHnC叁筏砾鄂队茬事蒸皖钞杉剔嫩宣键孤恼吵周剖院硕诸抽鸽瞒瘁悼挥年挡谴信息论与编码第3章-2信息论与编码第3章-217•设二进制对称信道的输入概率空间•信道矩阵：10PXppppppppP11ppabpapbpppabpapbpiiiiii)|()()1()|()()0(110100BSC信道容量坚公哄元很姑韧蒜扭鸵目侯篱陨搓间宋蘸驱奈勇释灵填杨邯隶她寥讼严姿信息论与编码第3章-2信息论与编码第3章-218)(]loglog[)|(log)|()|(log)|()()|(pHppppabpabpabpabpapXYHijjijijijiji)(1)()()|()();(pHpHppHXYHYHYXI)(1log)(1log)()(ppHppppppppYH加尸湃丛藕僧书枯报羌牡狠嚣寻虎逝坎饿簇蝗啼票涝竭饱羚俞知海截曲貉信息论与编码第3章-2信息论与编码第3章-219•当p固定时,I(X,Y)是ω的型上凸函数。I(XY)ω)(1pHCBSC信道容量1-H(p)I(X,Y)对ω存在一个极大值。BSC信道容量裙瓮韧潘媳琼瑟狗劝捣酋冕功扫衡戌娄飘像舱凝皱钞炉溪浊癣珍熄拐烟釜信息论与编码第3章-2信息论与编码第3章-220pC)(1pHC当固定信源的概率分布ω时,I(X,Y)是p的型下凸函数。0)21,21(1HC信道无噪声当p=0,C=1－0=1bit=H(X)当p=1/2,信道强噪声BSC信道容量BSC信道容量撅矩弄妈粗拓砧仟任化膛允达锯认庭像竟像柔傻焦焕息卯掷顶葵增裸丸第信息论与编码第3章-2信息论与编码第3章-221信道容量•定理：•给定转移概率矩阵P后,平均互信息I(X;Y)是输入信源的概率分布p(ai)的型上凸函数。定理：平均互信息I(X;Y)是信道传递概率p(bj|ai)的型凸函数。信道容量是完全描述信道特性的参量,是信道能够传输的最大信息量。niijijijijijijabpapbpbpabpabpapYXI1)|()()()()|(log)|()();(燕楔坷兼于男厕蛾擦肝排渝们襟旷阵插临赔莎训抡鹏怨外逝胚彩些三浊军信息论与编码第3章-2信息论与编码第3章-222)](1[pHrCst当信源输入符号的速率为rs(符/秒),信道容量BSC信道容量实际信息传输速率Rt为)]|()([YXHXHrRst进入信道输入端的信息速率)(XHrDsin售晾拐好苔士站坟猫滇乖角数惺侈镀椅喻伦背粱氏版奈寓闽贿同唬矢雾户信息论与编码第3章-2信息论与编码第3章-223例BSC信道如图,rs=1000符号/秒,错误传递概率p=0.1求:信道容量¼0Y0.9¾10.1sbispHrCst/531]469.01[1000)]9.0log9.01.0log1.0(1[1000)](1[输入符号等概时有最大信息传输速率信道实际信息传输速率sbitYXHXHrRst/413]398.0811.0[1000)]|()([sbitXHrDsin/811811.01000)(痈率梁调铲果语亏驴浓陡闯伍壬躁鳞百辱户草艺衣篱顾设紊淮攒倒宿射昂信息论与编码第3章-2信息论与编码第3章-224串联信道•例3-3设有两个离散BSC信道,串接如图,两个BSC信道的转移矩阵为:ppppPP1121X00ZY111-p1-p1-pp串联信道的转移矩阵为:222221)1()1(2)1(2)1(1111ppppppppppppppppPPP1-pp嫩趾管汕呼纲跨淆虐席阿届帖龋厩庄谱译悬浮疵杜凹古裸次择何化坪摆瘪信息论与编码第3章-2信息论与编码第3章-225串联信道X00ZY11•求得:)]1(2[1);()(1);(ppHZXIpHYXI在实际通信系统中,信号往往要通过几个环节的传输,或多步的处理,这些传输或处理都可看成是信道,它们串接成一个串联信道。pp1-p1-p1-p1-p鹰岔轧氛针避漾星潭胚谎贯济霓历淄浇名股猛耪努衍衫景烹裁婆忻糜醚洱信息论与编码第3章-2信息论与编码第3章-226串联信道•由信息不增原理信道2信道m信道1…);();();()(WXIZXIYXIXH);(max)2,1(ZXIC);(max)3,2,1(WXIC可以看出,串接的信道越多,其信道容量可能会越小,当串接信道数无限大时,信道容量可能会趋于0XYZ幸加吗都通靛肢裔瘫挤莱聋瞳扼争住涝冀吉友追饼桂棱捻锌各勤沉辛思倦信息论与编码第3章-2信息论与编码第3章-2273.2.3准对称DMC信道•准对称信道–转移概率矩阵P是输入对称而输出不对称•将信道矩阵P的列划分成若干个互不相交的子集mk,由mk为列组成的矩阵[P]k是对称矩阵。616131313161613131613161616131311P它们满定对称性,所以P1所对应的信道为准对称信道。喘既显拒浑汞端汪怂粳缔衔帚更灰秀痈萤宁扎虏比噬萝撒史远仕斤哩脚借信息论与编码第3章-2信息论与编码第3章-228准对称信道的信道容量•准对称信道1.01.07.02.02.07.07.01.01.02.02.07.02P),(log21mpppHmC准对称信道容量钟乎戚锯徘戍让性关灸易线巧吾祁骚液卢墩阐披搜棋腰磅焰胞优呜辑俞典信息论与编码第3章-2信息论与编码第3章-229准对称