信息论往年试卷

《信息论基础》试卷第1页试题编号：重庆邮电大学2008/2009学年2学期《信息论基础》试卷（期末）（A卷）（开卷）题号一二三四五六七总分得分评卷人一、填空题（共25分，每空1分）1、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率的符号用短码，对概率的符号用长码，这样平均码长就可以降低，从而提高。2、连续信源的绝对熵为。3、信源编码的目的是，信道编码的目的是。4、在下面空格中选择填入数学符号“，，，”或“”XYHYXHYH|XHYH。5、若连续信源的平均功率为10W，则最大熵为，达到最大值的条件是。《信息论基础》试卷第2页6、平稳信源极限熵的定义式为。7、当时，我们称信源与信道达到匹配。8、香农第一编码定理指出平均码长的理论极限值为，此时编码效率为，编码输出的码符号分布，编码后的信息传输率为。9、有一信源X，其概率分布为414121321xxxPX，其信源剩余度为；若对该信源进行10次扩展，则每10个符号的平均信息量是。10、m阶马尔可夫信源的记忆长度为，信源可以有个不同的状态。11、掷两粒骰子，各面出现的概率都是1/6，当点数和为3时，该消息包含的信息量是bit。12、信源的剩余度主要来自两个方面，一是，二是。13、三进制信源的最小熵为，最大熵为。《信息论基础》试卷第3页二、（5分）求信源的差熵，已知信源的概率密度函数)(xp如下图所示。三、（10分）计算机终端发出A、B、C三种符号，出现概率分别为1/4，1/4，1/2。通过一条带宽为6kHz的信道传输数据，假设信道输出信噪比为1023，试计算：1）香农信道容量；2）无误码传输的最高符号速率。《信息论基础》试卷第4页四、（16分）已知离散无记忆信源的概率空间为0.150.20.30.215.0ssssssPS54321试用霍夫曼编码法编成二进制变长码。并计算信源熵、平均码长、编码后的信息传输率、编码信息率和编码效率。要求写出详细的编码过程和计算过程。《信息论基础》试卷第5页五、（１6分）设一个离散无记忆信源的概率空间为12()0.60.4XaaPx，它们通过干扰信道，信道输出端的接收符号集为21,bbY，信道传输概率如下图所示。试计算：（1）信源X中事件1x和2x分别含有的自信息量；（２分）（2）收到信息)2,1(jyj后，获得的关于1x的信息量；（２分）（3）信源X的信息熵；（２分）（4）条件熵1|xYH，2|xYH；（２分）（5）共熵)(XYH、信道疑义度(|)HXY和噪声熵(|)HYX；（６分）（6）收到消息Y后获得的关于信源X的平均信息量。（２分）《信息论基础》试卷第6页《信息论基础》试卷第7页六、（１２分）设某信道的传递矩阵为（1）若输入符号(0)3/4,(1)1/4PP，求损失熵和(;)IXY。（６分）（2）计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。（６分）《信息论基础》试卷第8页七、（16分）设有一个马尔可夫信源，它在开始时以()0.6Pa,()0.3Pb,()0.1Pc的概率发出1X。如果1X为a时，2X为a、b、c的概率为1/3；如果1X为b，2X为a、b、c的概率为1/3；如果1X为c，2X为a、b的概率为1/2，为c的概率为0。而且后面发iX的概率只与1iX有关，又121(/)(/)3iiPXXPXXi。（1）试用马尔可夫信源的图示法画出状态转移图。（2）计算达到稳定后状态的极限概率。（3）该马尔可夫信源的极限熵H。（4）计算达到稳定后符号0和1的概率分布。《信息论基础》试卷答案一、填空题（共25分，每空1分）1.离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特征，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高编码效率。2.连续信源的绝对熵为0,()log()limlogpxpxdx（或）3.信源编码的目的是：提高有效性/改善信息的传输效率信道编码的目的是：提高可靠性4.在下面的空格中选择填入数学符号“=，≥，≤，＞”或“＜”H（XY）=H(Y)+H(X∣Y)≤H(Y)+H(X)。5.若连续信源的平均功率为10w，则最大熵为1log3.71/2ebit自由度，达到醉倒的条件是信源输入是高斯分布。6.平稳信源极限熵的定义为12121()lim()limlim(/)NNNNNNNXXXxXXXXN7当R=C（或信道信息传输率达到最大或信道剩余度为0）时，我们称信源与信道达到匹配。《信息论基础》试卷第9页8香农第一编码定理指出平均码长的理论极限值为2()())logssr信源熵(或，或此时编码效率为1，编码输出的码符号独立等概或均匀分布，编码后的信息传输率为log(/)rbit码元9有一信源X，其概率分布为123,111244xxxXP其信源剩余度为1.510.0536log3；若对该信源进行10次扩展，则每个符号的平均信息量是15bit/扩展信源符号。10m阶马尔可夫信源的记忆长度为m+1,信源可以有mq个不同状态。11掷两粒骰子，各面出现的概率是16，当点数和为3时，该消息包含的信息量是log184.17bit。12信源的剩余度主要来自两方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。13三进制信源的最小熵是0，最大熵为log3=1.585bit/符号二（5分）证明：对于离散平稳信源，当1()x时，条件熵121()NNXXXX随N的增加时递减的。证明：因为条件熵与无条件熵有如下关系：212()()XXX可以据它证得31232()()XXXXX因为信源是平稳的，所以有：3221()()XXXX故得312211()()()XXXXXX由此递推，对于离散平稳信源有：1211122()()NNNNXXXXXXXX《信息论基础》试卷第10页2123()NNXXXX32121()()XXXXX21（X）=（X）即证三（10分）计算机终端发出A,B,C三种符号，出现概率分别为111442，，。通过一条宽带为6kHz的信道传输数据，假设信道输出信噪比为1023，试计算：1）香农信道容量：2）无误码传输的最高符号速率：解：1）C=Blog(1+SNR)=60Kb/s2)111442（X）=(,,)=1.5bit/符号40aud()CRKBX四（16分）已知离散无记忆信源的概率空间为12345()0.150.20.30.20.15SsssssPs，试用霍夫曼编成二进制变长码，并计算信源熵，平均码长编码后的信息传输率，编码信息率和编码效率。要求写出详细的编码过程和计算过程。解：1编码过程和计算过程CSP01S30.310S20.211S40.2000S10.15001S50.150.30.30.20.2010.40.30.3100.60.41.001《信息论基础》试卷第11页1.00.60.40.30.30.20.20.150.1501010101S1S5S3S2S4（2）信源熵：521()(0.15,0.2,0.3,0.2,0.15)log2.27/iiisHppbit符号（3）平均码长：5i13(0.150.5)2(0.20.30.2)2.3iiLpl码元/符号（4）编码后信息传输率：()2.270.987/2.3HsRbitL码元（5）编码信息率：'22loglog22.3/RLrLbit符号（6）编码效率：'s98.7HR（）五（16分）设一个离散无记忆信源的概率空间为12()0.60.4XaaPx，它们通过干扰信道，信道输出端的接受符号集为12Ybb，信道传输概率如《信息论基础》试卷第12页下图所示：2/34/51/31/5X1Y1X2Y2试计算：（1）信源X中事件1x和2x分别含有的自信息量；（2分）（2）收到信息(1,2)jyj后，获得的关于1x的信息量；（2分）（3）信源X的信源熵；（2分）（4）条件熵12(),()YxYx；（2分）（5）共熵(),XY信道疑义度（XY）和噪声熵（YX）;(6分)（6）收到消息Y后获得的关于信源X的平均信息量。（2分）解：（1）12()log0.60.737()log0.41.322IxbitIxbit（2）1112111256(;)log0.474/0.6513(;)log0.64/0.623(;)log0.474/0.4813(;)log0.64/0.52IxybitIxybitIxybitIxybit符号符号或符号符号（3）()(0.6,0.4)0.971/Xbit符号（4）《信息论基础》试卷第13页1221()(,)0.9183314()(,)0.72255yxyx（5）()(0.4,0.2,0.08,0.32)1.81/()(0.52,0.48)0.999/()()()0.811/()()()0.839/2114()0.6(,)0.4(,)0.839/3355xybitybitxyxyybityxxyxbityxbit符号符号符号符号或符号（6）(;)()()0.16/(;)()()()()()0.16/IxyxxybitIxyyyxxyxybit符号或符号六（12分）设某信道的传递矩阵为1111336611116633P（1）若输入符号31(0),(1),(;).(6)44PPIXY求损失熵和分（2）计算该信道的信息容量，并说明达到信息容量的最佳输入概率分布。（6分）解：（1）公式：损失熵：()()()log()(;)()()XYXYpxpyxpxyIXYHXHXY计算过程：《信息论基础》试卷第14页7(0)()(0)24777(1),(2),(3)242424(0)(00)6(00)(0)763(01),(02)(03)751(10)(11)72(12)(13)5Hxpypxpyxpypypypxpyxpxypypxypxypxypxypxypxypxy同理同理代入后的结果为(XY)0.749bit/符号I(X;Y)0.062bit/符号（2）公式C=logs-H(p的行矢量)=1111log4(,,,)33660.0817/Hbit符号在输入等概时达到信道容量七（16分）设有一个马尔可夫信源，它在开始时以P（a）=0.6，P（b）=0.3,P（c）=0.1的概率发出1X。如果1X为a时，2X为a,b,c的概率为13；如果1X为b时，2X为a,b,c的概率为13；如果1X为c时，2X为a,b的概率为12，为c的概率为0.而且后面发iX的概率只与1iX有关，又121()()iiPXXPXXi≥3.（1）试用马尔可夫信源的图示法画出状态转移图。（2）计算达到稳定后状态的极限概率。（3）该马尔可夫信源的极限熵。（4）计算达到稳定后符号0和1的概率分布。解：（1）状态图《信息论基础》试卷第15页abcb=1/3a=1/3b=1/3a=1/3c=0c=1/3b=1/2c=1/3a=1/2(2)因为1()()(/)111()()()()332111()()()()33211()()()33()()()131()(),()84mjijiiPEPEPEEPaP