信息论考试卷与答案..

第1页共12页考试科目名称：信息论一.单选（每空2分，共20分）1.一个m位的二进制数的自信息量为（A）A．mbitB．1bitC．m2D．2m2.信源编码的目的是（A）A．提高通信有效性B．提高信息传输的可靠性C．提高通信系统的安全性D．压缩信源的冗余度3.下面属于最佳变长编码的是（C）A．算术编码和游程编码B．香农编码和游程编码C．哈夫曼编码和费诺编码D．预测编码和香农编码4.表中符合即时码的是（A）和（D）第2页共12页5.下列各量可能为负值的是（B）A．自信息量B．互信息量C．信息熵D．平均互信息量6.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系错误的是（D）A．H（XY）＝H（X）＋H（Y／X）B．若X和Y相互独立，H（Y）=H（Y／X）C．H（XY）＝H（Y）＋H（X／Y）D．H（XY）＝H（X）＋H（X／Y）7.已知发送26个英文字母（包括空格），其最大信源熵（发送概率相等）为H0=log27=4.76比特/符号；在字母发送概率不等时，其信源熵为H1=4.03比特/符号；考虑字母之间相关性时，其信源熵为H2=3.32比特/符号；以此类推，极限熵H∞=1.4比特/符号。问若用一般传送方式，冗余度γ为（B）A．0.58B．0.71C．0.65D．0.29第3页共12页8.某信道传递矩阵为，其信道容量为（D）A．)41log4143log43()81,81,41,21(4logHCB．)41log4343log41()81,81,41,21(2logHCC．)41log4143log43()81,81,41,21(4logHCD．)41log4143log43()81,81,41,21(2logHC9.下列各图所示信道是对称信道的是（C）A．B．C．8181214181814121P第4页共12页D．二.综合（共80分）1.（10分）试画出通信系统的模型，并叙述各部分的定义和作用。解：第5页共12页（5分）（1）.信源：发送消息的源。主要分为离散信源和模拟信源。（0.5分）（2）.信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。（0.5分）（3）.信道：传输信息的物理媒介（0.5分）（4）.信源编码和译码（1分）信源编码是把信源发出的消息变换成由二进制码元(或多进制码元)组成的代码组,这种代码组就是基带信号。同时通过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的效率。信源编码器分为两类：一类是无失真信源编码,适用于离散信源或数字信号；另一类是限失真信源编码,用于连续信源或模拟信号,如语音、图像等信号的数字处理。信源编码器的主要指标：编码效率，即理论上能达到的码率与实际达到的码率之比。效率越高，编译码器的代价也将越大。信源译码：是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程。第6页共12页（5）.信道编码和译码（1分）主要作用是提高信息传送的可靠性。信道编码器的作用：在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力。信道编码的主要方法：增大码率或频带,即增大所需的信道容量。这恰与信源编码相反。信道译码器的作用：具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。（6）.加密编码和译码（1分）隐蔽消息中的信息内容,使它在传输过程中不被窃听.提高通信系统的安全性。（7）.密钥（0.5分）明文转换为密文或将密文转换为明文的算法中输入的数据。2.（15分）有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知符号条件概率：p(0|00)=1/2p(1|00)=1/2p(0|01)=1/3p(1|01)=2/3p(0|10)=1/4p(1|10)=3/4p(0|11)=1/5p(1|11)=4/5求：（1）.试写出信源状态转移概率矩阵；（2）.画出完整的二阶马尔可夫信源香农线图；（3）.试求平稳分布概率。解：（1）.符号条件概率矩阵第7页共12页状态转移概率矩阵（5分）（2）.（5分）（3）.平稳分布概率121234()()()1/21/2()1/32/3(|)()1/43/4(0100011011)1/54/5jiaasspasss5/45/100004/34/13/23/100002/12/1)|(43214321sssssspssssij154325131432141214321442342231131()(|)()iiipapasps221326364426()(|)()2353354355735iiipapasps1316161492353354355735第8页共12页（5分）3.（15分）一个平均功率受限制的连续信道，其通频带为2MHz，信道上存在白色高斯噪声。（1）.已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；（2）.信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？（3）.若信道的通频带减少至1MHz时，要保持相同的信道容量，信道通频带应为多大？解：（1）.已知SNR=10sMbitSNRWWNsPWC/919.611log2)1log()01log(（5分）（2）.若SNR=5，C=6.919Mbit/s；)51log(919.6WW=2.68MHz（5分）（3）.若W=1MHz，C=6.919Mbit/s；)1log(1919.6SNRSNR=121（5分）4.（20分）信源符号X有6种字母，概率为0.22，0.32，0.18，0.08，第9页共12页0.04，0.16。（1）.求符号熵H（X）；（2）.用香农（Shannon）编码法编成二进制变长码，求出平均码长和编码效率；（3）.用费诺（Fano）编码法编成二进制变长码，求出平均码长和编码效率；（4）.用哈夫曼（Huffma）编码法编成二进制变长码，求出平均码长和编码效率。解：（1）.iiibitapapXH符号/35.2)(log)()(（5分）（2）.香农编码法编成二进制变长码（5分）信源符号符号概率p(ai)累加概率Pi平均码长)(logp-Kia—码字a20.320200a10.220.323010a30.180.543100a60.160.723101a40.080.8841110a50.040.96511110010，00，100，1110，11110，101%7.8284.235.2)()(—KXHRXHL（3）.费诺编码法编成二进制变长码（5分）信源符号符号概率p(ai)第1分组第2分组第3分第4分平均码长)(logp-Kia—码字第10页共12页组组a20.3200200a10.221201a30.1810210a60.16103110a40.081041110a50.0414111101，00，10，1110，1111，110%9.974.235.2)()(—KXHRXHL（4）.哈夫曼编码法编成二进制变长码（5分）10，00，11，0110，0111，010信源符号符号概率p(ai)第1分组第2分组第3分组第4分组码长码字a20.320.320.320.40.6200a10.220.220.280.320.4210a30.180.180.220.28211a60.160.160.183010a40.080.1240110a50.04401115.（20分）具有符号集},{10uuU的二元信源，信源发生概率为：%9.974.235.2)()(—KXHRXHL0101010101第11页共12页210,)(,1)(10ppuppup。Z信道如图所示，接收符号集},{10vvV，转移概率为：quvquvq1)|(,1)|(1100。发出符号与接收符号的失真：1),(),(,0),(),(10011100vudvudvudvud。（1）.计算平均失真—D；（2）.率失真函数R(D)的最大值是什么？当q为什么值时可达到该最大值？此时平均失真—D是多大？（3）.率失真函数R(D)的最小值是什么？当q为什么值时可达到该最小值？此时平均失真—D是多大？（4）.画出R(D)-D曲线。解：（1）.已知信源符号概率210,)(,1)(10ppuppup；转移概率矩阵qquvqij101)]|([；失真矩阵0110)],([jivud；联合概率矩阵)1(01)],([qppqpvupji；第12页共12页pqqppqpvudvupDjiji0)1(1100)1(),(),(ij—。（5分）（2）.maxR(D)=R(Dmin)=H(X)=-plogp-(1-p)log(1-p)；当q=0时，Dmin=0，即得到maxR(D)；—D=0。（5分）（3）.minR(D)=R(Dmax)=0；当q=1时，转移概率矩阵0101)]|([ijuvq，可使得到minR(D)；—D=p。（5分）（4）.（5分）