信息论与编码考试试卷

信息论与编码考试试卷2012——2013学年第一学期课程名称：信息论与编码试卷形式：开卷□闭卷□试题一二三四五六七八总分得分常用对数：2log31.585一、选择题（共10分，每小题2分）1、有一离散无记忆信源X，其概率空间为125.0125.025.05.04321xxxxPX，则其无记忆二次扩展信源的熵H(X2)=()A、1.75比特/符号；B、3.5比特/符号；C、9比特/符号；D、18比特/符号。2、信道转移矩阵为112132425363(/)(/)000000(/)(/)000000(/)(/)PyxPyxPyxPyxPyxPyx，其中(/)jiPyx两两不相等，则该信道为A、一一对应的无噪信道B、具有并归性能的无噪信道C、对称信道D、具有扩展性能的无噪信道3、设信道容量为C，下列说法正确的是：（）A、互信息量一定不大于CB、交互熵一定不小于CC、有效信息量一定不大于CD、条件熵一定不大于C4、在串联系统中，有效信息量的值（）A、趋于变大B、趋于变小C、不变D、不确定5、若BSC信道的差错率为P，则其信道容量为：（）A、HpB、12log1ppppC、1HpD、log()PP二、填空题（20分，每空2分）1、(7,4)线性分组码中，接受端收到分组R的位数为____，伴随式S可能的值有____种,差错图案e的长度为，系统生成矩阵Gs为____行的矩阵，系统校验矩阵Hs为____行的矩阵，Gs和Hs满足的关系式是。2、一张1024×512像素的16位彩色BMP图像能包含的最大信息量为。3、香农编码中,概率为()iPx的信源符号xi对应的码字Ci的长度Ki应满足不等式。3、设有一个信道，其信道矩阵为0.250.50.250.250.250.50.50.250.25，则它是信道（填对称，准对称），其信道容量是比特/信道符号。三、（20分）12()0.50.5XxxPX，通过一个干扰信道，接受符号集为12Yyy，信道转移矩阵为13443144试求（1）H(X),H(Y),H(XY);（7分）(2)H(Y|X),H(X|Y);（5分）(3)I(Y;X)。（3分）(4)该信道的容量C（3分）（5）当平均互信息量达到信道容量时，接收端Y的熵H（Y）。（2分）计算结果保留小数点后2位,单位为比特/符号。四、（9分）简述平均互信息量的物理意义，并写出对应公式。五、（10分）假设英文字母表(n=26),密钥k=abc，当明文m=familycome时，使用Vigenere密码算法后得到的密文c=？请写出具体的步骤。六、（10分）设有离散无记忆信源，其概率分布如下：12345671111111()24816326464xxxxxxxXPX对其进行费诺编码，写出编码过程，求出信源熵、平均码长和编码效率。七、信道编码（21分）现有生成矩阵1000111010011000100110001101sG1.求对应的系统校验矩阵Hs。（2分）2.求该码字集合的最小码字距离d、最大检错能力maxl、最大纠错能力tmax。（3分）3.填写下面的es表（8分）es000000000000010000010000010000010000010000010000010000004.现有接收序列为(1100100)r，求纠错译码输出ˆc。（4分）4.画出该码的编码电路（4分）试题答案一、选择题（每题2分，共10分）1、B2、D3、C4、B5、A二、填空题（每空2分，共20分）1、7,8,7,4,3,GsHsT=0或则HsGsT=0。2、8Mbit。3、22log()log()1iiiPxKPx4、对称，0.085比特/信道符号。三、（15分）解：(1)由已知条件得p(X=0)=1/2,p(X=1)=1/2……………………（2分）p(Y=0)=1/2,p(Y=1)=1/2……………………（2分）因此H（X）=1比特/符号……………………………………（1分）H（Y）=1比特/符号……………………………………（1分）H（XY）=1.811比特/符号…..…………………………（1分）（2）(/)()()0.811/HYXHXYHX比特符号（2.5分）(/)()()0.811/HXYHXYHY比特符号（2.5分）（3）(;)()(/)()(/)0.189/IXYHXHXYHYHYX比特符号（3分）（4）该信道为对称信道，根据对称信道的信道容量公式得：21222134log,1log4log0.189/443CmHqqbitsignal（3分）（5）该信道为对称信道，当平均互信息量达到信道容量时，信宿呈等概分布，其熵为：H（Y）=log2m=1比特/符号（2分）四、（10分）答：1、(;)()()IXYHXHXY（1分）平均互信息量是收到Y前、后关于X的不确定度减少的量，即由Y获得的关于X的平均信息量。（2分）2、(;)()()IXYHYHYX（1分）平均互信息量是发送X前、后，关于Y的平均不确定度减少的量。（2分）3、(;)()()()IXYHXHYHXY（1分）平均互信息量等于通信前、后，整个系统不确定度减少的量。（2分）五、(10分)答：费杰尔密码算法的过程是：设密码k＝k1k2k3…kd，明文与密文字母表中均包含了n个字母，又设明文m＝m1m2…，密文为c＝c1c2…，则ci=mi+ki(modn)。则，明文为m=familycome，k=abc，加密之后的结果为：m1=f-5，k1=a-0，c1=5+0(mod26)=5-f1分m2=a-0,k2=b-1,c2=0+1(mod26)=1-b1分m3=m-12,k3=c-2,c3=12+2(mod26)=14-o1分m4=i-8,k4=a-0,c4=8+0(mod26)=8-i1分m5=l-11,k5=b-1,c5=11+1(mod26)=12-m1分m6=y-24,k6=c-2,c6=24+2(mod26)=0-a1分m7=c-2,k7=a-0,c7=2+0(mod26)=2-c1分m8=o-14,k8=b-1,c8=14+1(mod26)=15-p1分m9=m-12,k3=c-2,c9=12+2(mod26)=14-o1分m10=e-4,k3=a-0,c10=4+0(mod26)=4-e1分结果为：fboimacpoe六、（10分）解：（1）编码如下表所示（7分）ix()ipx码字1x0.5002x0.2510103x0.125101104x0.06251011105x0.0312510111106x0.015625101111107x0.0156251111111（2）平均码长1111116312345621.97/24816326432K比特符号（1分）信源熵72163()()log()1.97/32iiiHXpxpx比特符号……………（1分）编码效率2()()()1logHXHXHXRKKmL……………………………….（1分）七、解：（1）110110011100101011001sH………………………………..（2分）(2)最小码距d=3，最大检错能力maxl=2，最大纠错能力tmax=1…………….（3分）(3)es00000000000000001001000001001000001001000001000101001000001101000001101000000111（8分）计算接收到的序列(1100100)r对应的伴随式(101)TsrH（2分）对应的e为（0001000）纠错译码输出为(1100100)(0001000)(1101100)cre………………………..（2分）编码电路(4分)(m0,m1,m2,m3)(c0,c1,c2,c3,c4,c5,c6)m3m2m1m0c6c5c4t=0,1,2,3t=4,5,6