信息理论基础试题综合

信息理论基础试题综合简答题1.画出通信系统的基本模型。2.简述信息的概念及特点。3.说明信息、消息及信号三者之间的联系与区别。4.叙述数据处理定理的内容及其意义，并给出简要证明。5.简述香农第一定理。6.结合本人的具体学习情况，谈谈学习信息理论课程的体会。证明题1.对离散信源X，设()YfX，证明：()()HXHY，并给出等式成立的条件。（当且仅当对于所有概率不为0的()xxX，f是一一对应的映射时，等号成立）2.对于离散随机变量，证明1212NNHXXXHXHXHX。3.证明：当N时，新信源X的符号集的概率分布ip趋于1r（等概分布）。证明：由香农第一定理知()1()()loglogNLHsHsrNNr显然当N时()()logNLHsNr此时信息传输率()()()loglogHsHsRHsrrL（*）而编码后原信源变换成一个新信源1212:rrxxxxppp新信源的信道容量logCr，且在输入信源等概率分布时达到此信源容量。那么由（*）式知，经Huffman编码后，信息传输率在N时达到信道容量，那么很容易推出此时的信源趋于等概分布，即：1ipr。计算题1.对于一个离散的二进制信道，信源消息集为0,1X，信宿消息集为0,1Y，且01PXPX，信道传输概率1|00.05PYX，0|10.1PYX。求：（1）()HY；（2）(|)HXY；（3）平均互信息量(;)IXY；（4）信宿收到1y后，所提供的关于传输消息X的平均条件互信息量(;1)IXy。2.有一个二阶二进制马尔可夫信源，其信源符号集为(0,1)，条件概率为(0|00)(1|11)0.8pp(1|00)(0|11)0.2pp(0|01)(0|10)(1|01)(1|10)0.5pppp信源输出序列为1234rXXXXX，已知初始状态分布为1212(00)(11)0.3pXXpXX1212(01)(10)0.2pXXpXX求：（1）极限熵H；（2）状态分布34()pXX；（3）联合熵123()HXXX。设信道矩阵为3104413044001P，（1）若1(0)5P，3(1)5P，1(2)5P，求()HY、(|)HXY和(;)IXY；（2）求信道容量C及其最佳的输入概率分布。3.有一个一阶平稳马尔可夫链123rXXXX，rX取值集合1,2,3A，已知初始概率110PX，120.5PX，130.5PX，其转移概率如下：ji12311/21/41/422/301/332/31/30求：（1）联合熵123()HXXX；（2）极限熵H；（3）计算11()HHX，2121()2HHXX，31231()3HHXXX，并说明结果是否与平稳信源熵性质矛盾。4.求出给定信道的信道容量C和达到信道容量C时的输入分布。（1）信道矩阵为11103261110623（2）信道矩阵为111236111326111632（3）信道矩阵为11113366111166335.计算下列信道的信道容量。22ppPpp2002ppPpp，其中1pp6.设离散信源为120.70.3ssSP，设码符号集为0,1X。（1）求()HS和信源剩余度。（2）对S用Huffman码进行编码，写出代码组，计算平均码长、编码效率和码方差。（3）对S的三次无记忆扩展信源3S用Huffman码和Fano码进行编码，写出代码组，计算平均码长、编码效率和码方差。（4）对于问题（3）编码后的信源X，写出其概率空间XP。7.设离散无记忆信源为01,()0.80.2Xpx，通过下面二进制信道传输(1|1)(0|1)0.90.1(1|0)(0|0)0.10.9ppPpp=9.01.01.09.0（1）计算采用最佳译码规则时的平均错误译码概率。（2）信道编码采用三次简单重复编码方式，计算采用最佳译码规则时的平均错误译码概率。8.有一个离散无记忆信源S，典型输出序列为101111011101111011110111101111，通过下面二进制离散无记忆信道传输(1|1)(0|1)0.90.1(1|0)(0|0)0.10.9ppPpp（1）计算信源直接和信道连接时的信息传输率(;)RISY，以及信道利用率R/C。（2）对信源的三次扩展信源进行方差最小的Huffman编码，码符号集为0,1X，写出编码过程，计算平均码长L和码长方差2。（3）写出编码后新信源X的概率空间，计算信道利用率R/C；写出上面给出的信源典型输出序列采用三次扩展并进行方差最小的Huffman编码后的输出序列。9.对于由4个字母构成的离散无记忆信源，有两个码组A和B，如下表所示：信源符号概率码组A码组BA10.411A20.30110A30.2001100A40.100011000其中，唯一可译码是：A、B；即时码是：A；对于码A，其平均码长是2；对于码B，其信息传输率是()HSL；若此两种码通过无噪一一对应信道，对于码A，收到第一位码符号为“1”时，获得关于A1的信息量是：0，对于码B，收到第一位码符号为“1”时，获得关于A1的信息量(1;1)Ia是：log0.4。10.设离散无记忆信源为101,()111333Xpx，接收符号集合为11,22，失真矩阵为121121D。求minD，maxD时的转移概率矩阵。