信息论与编码期末复习(基本上涵盖了所有考点-有了这份资料-期末绝不会挂科)

信息论与编码期末复习（基本上涵盖了所有考点，有了这份资料，期末绝不会挂科）1填空题1、信息论研究的主要问题是如何提高信息传输系的性和性，对应这两个性能数字通讯系统量化指标分别为和。2、若给定离散概率空间[X,p(x)]表示的信源，则该信源中的信源消息（事件）x的自信息量可表I(x)=；该信源平均自信息量（即信源的熵）可表示为H(X)=E[I(x)]=。3、在离散联合概率空间[XY,P(xy)]上随机变量I(xy)的数学期望H（XY）=，若集合X与集合Y相互独立，则H（XY）=。4、若给定离散联合概率空间[XY,P(xy)]，则x与y之间的互信息量I(x;y)=；平均互信息量可用熵和条件熵表示即I(X;Y)==，其中条件熵H(X|Y)通常称为熵，条件熵H(Y|X)称为____________熵；若集合X与集合Y相互独立，则H(X|Y)=，H(Y|X)=，平均互信息量I(X;Y)=。5、离散信源的冗余度是R表示信源消息的可压缩____________，设信源符号集的最大熵为Ho，实际熵为Ｈ∞，则冗余度Ｒ可表示为______________；信源编码目的就是通过减少或消除信源____________来提高信息传输效率，因此信源编码亦称__________性编码，而信道编码则称__________性编码。6、对于连续随机变量，在峰值功率受限于Pm的条件下，取得最大相对熵的最佳概率密度函数是一个恒值即Wopt(x)=_________,称W(x)为__________分布，这时最大相对熵Hcmax=__________。7、对于平均功率受限，均值不为零的一维连续随机变量的方差为定值时，其取得最大相熵的最佳概率密度函数为正态分布，即Wopt(x)=_________，最大相对熵Hcmax=__________。8、假设任一随机变量X与一正态分布随机变量具有相同的相对熵Ｈｃ，则其等效正态分布的随机变量Ｘ的熵功率为Ｐ＝；可以用信号平均功率和熵功率的相对差值_________来表示连续信源的冗余度。9、离散无记忆信道的信息传输率就是，即R=I(X;Y)，信道容量就是指最大的，即C=。10、在离散无记忆信道中的可逆矩阵信道是指信道转移矩阵P为时，即矩阵P-1存在，则有可能用计算该信道容量C。11、对于离散无记忆信道，若信息传输率达到了信道容量，我们称信源与信道达到，信道剩余度定义为:信道剩余度=C；在无损信道中，信道容量C=（n为信道输入符号个数），无损信道的相对剩余度=，这表明无损信道可以通过编码减少剩余度，使信息传输率达到C；编码就是要将信源输出的消息编码成为新的码元符号来传输，而使新的码元符号的熵接近最大熵。这时信道剩余度接近于，信道得到充分利用，这就是香农无失真信源理论。12、对于时间离散连续信道，在给定噪声功率下，干扰是最坏的情况，在干扰时，信道容量最小，如果信道干扰统计特性未知时，把干扰看成是分布是比较安全的。13、积信道的信道容量C=,和信道的信道容量C=,输入并接信道容量C满足。14、在信源编码中，按码字长度的不同，可将码分为码和码，按码字是否全部相同可分为码和码，一般说，要实现无失真的编码，要求所编的码是可译码。15、若q为信源符号的个数，r为码符号的个数，l为等长码的码长，则对信源进行等长唯一可译码编码，必须满足的条件为q。16、变长编码可使出现概率大的信源符号用较（长、短）码字表示，出现概率小的信源符号用较（长、短）的码字表示；是指在译码时无需参考后续的码符号就能立即做出判断的一类码（即一个密封线内不要答题码的码元符号是否到齐，不需后续的码符号来判断）；逗点码是的一种；紧致码（最佳码）平均长度满足。17、由香农第一定理（变长无失真信源编码定理又称无噪声定理）可推出，当平均码长达到极限时，编码后的信息传输率为R=bit/码符号18、香农第二定理（即定理）研究怎样使消息通过有噪信道传输后产生的错误最少，即研究通信的性问题。19、最大后验概率译码准则是指将每一个输出符号译成具有最大后验概率的那个输入符号时，信道平均错误概率就能最（大、小）；最大似然译码准则是指将每一个输出符号译成具有最大概率（在信道矩阵观察）的那个输入符号。20、信道编码的目的是为了差错，可靠性；信道编码按功能分码和码，码按结构分有：码，码，分组码，循环码，码，码等类型。21、信道编码中的纠错与检错的能力是用增加信息量的来换取的。22、码组中非零码元的数目为码组的。23、把两个码组中对应码位上具有不同二进制码元的位数定义为两组码的，称为汉明，简称。二、单项选择题（在ABCD中选一个正确的填在括号中。每题2分共10分）1、下面哪项不是熵函数的性质。（）A、对称性B、扩展性C、封闭性D、可加性2、在用树图法表示即时码的方法中，若用二进制表示该码树为整树，则第三级上，节点总个数为_________个。（）A．2B.4C.8D.163、下列不是并联信道的形式是（）A、积信道B.和信道C.输入并接信道D.级联信道4、下列哪项不满足唯一可译码。（）A．即时码B.异前缀码C.逗点码D.奇异码5、熵功率的大小与连续信源剩余的大小有关，如果熵功率_________信号平均功率，就表示信源没有剩余。（）A．大于B.等于C.小于D.不等于三、对错判断题1、必然事件和不可能事件的自信息量都是零。（）2、水平奇偶校验只能发现单个或奇数个错误，而不能检测出偶数个错误。（）3、率失真函数R(D)对允许的失真矩阵D的连续单调递减函数。（）4、线性分组码中任意两个码字之和（异或）仍为一个码字。（）5、信道无失真传递信息的条件是信息率小于信道容量。（）6、霍夫曼（Huffman）不是最佳码（紧致码）。（）7、费渃（Fano）码是最佳码（紧致码）。（）8、连续信源和离散信源的平均互信息都具有非负性。（）9、连续信源和离散信源的熵都具有非负性。（）10、定长编码的效率一般不小于不定长编码的效率。（）四、概念简述题1简述数据处理定理（即信息不增性定理）的物理意义串联信道的输入输出X、Y、Z组成一个马尔可夫链，且I(X;Z)≤I(X;Y),I(X;Z)≤I(Y;Z),经过数据处理后，一般只会增加信息的损失，至多保持原来获得的信息，不可能增加原来获得的信息。物理意义：在任何信息传输系统中，最后获得的信息至多是信源所提供的信息，如果在信息传输的某一过程丢失信息，无论系统如何处理，如不触及到丢失信息过程的输入端，都不可能恢复丢失的信息。2简述在并行可加高斯信道上，各子信道信号功率分配原则（即注水定理）？对于平均功率受限的时间离散的恒参可加噪声信道容量C满足½log（σ2+S）σ2/≤C≤½log（σ2+S）/σ2,当并行组合信道各自信道的干扰功率不等时，为了达到最大传输能力，要求对输入信号总功率适当地进行分配。当σ2≥B时，不分配能量，即不在此子信道传任何信息，当σ2B时，要使信号功率和信道噪声功率之和为常数，这样才能保证总的容量最大。3简述等长信源编码定理的物理意义一个熵为H(S)的离散无记忆信源，如对信源长为N的符号序列进行等长编码，设码字是从r个符号组成的码符号集中选取L个码符号组成的，对于任意的ε0,只要满足L/N≥(H(S)+ε)/logr,则当N足够大时，几乎可实现无失真编码，即译码错误概率能任意小，反之，若L/N≤(H(S)-2ε)/logr，则不肯能实现无失真编码，而当N足够大时，译码错误概率近似等于1。物理意义：只要码字传输的信息量大于信源序列携带的信息量，总能实现几乎无失真编码，而且传输效率接近于1，但它的条件是要求N充分长，当N有限时，高传输率的等长码往往要引入一定的失真和错误。4简述变长无失真信源编码定理（香农第一定理）的物理意义若对信源SN进行编码，总可以找到一种编码方法，构成唯一可译码，使信源S中每个信源符号所需的码字平均长度满足H(S)/logr≤LN/N＜1/N+H(S)/logr,当N―∞时，则得limLN/N=Hr(S).物理意义：对离散信源进行适当的变换，使变换后新的码符号信源尽可能等概率分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信息传输率R达到信道容量C，实现信源与信道理想的统计匹配。（无失真编码的实质）5简述无失真信源编码定理（无噪信道编码定理）的物理意义若信息传输率R不大于信道容量C，总能对信源的输出进行适当的编码，使得在无噪无损信道上能无差错地以最大信息传输率C传输信息，但要使信息传输率R大于C而无差错地传输信息是不可能的。6最大后验概率准则（最小错误概率准则）的物理意义要使P(e/bj)为最小，应选择P[F(bj)/(bj)]为最大，即选择译码函数：F(bj)=a*并且满足条件P(a*/bj)≥P(aj/bj),就是说如果采用这种译码函数，它对每一个输出符号译成具有最大后验概率的那个输入符号，则信道错误概率就能最小。最大似然译码准则：若假设输入符号的先验概率P（ai）均相等，则选择译码函数F(bj)=a*并且满足条件P(/bj/a*)≥P(bj/aj)。最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。最小距离译码准则下，将接收序列译为与其距离最小的码字。三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。7信道编码定理（香农第二定理）的物理意义设某信道有r个输入符号，s个输出符号，信道容量为C。当RC时，只要码长n足够长，总可以在输入集合中找到M个码字组成的一个码和相应的译码规则，使信道输出的错误概率Pe任意小。物理意义：只要信息传输率R不大于信道容量C，则存在某种编码，它可以使信道输出端的错误概率任意小，而信息传输率可以无限地接近信道容量。8信道编码定理的逆定理的物理意义设某信道有r个输入符号，s个输出符号，信道容量为C，令ε为任意小的正数。若选用码字个数为M=2n(C+ε),则无论n多大也不可能找到一种编码，使译码错误概率任意小。物理意义：如果RC，就不可能找到一种编码使输出端的错误概率任意小9简述对称密钥和非对称密钥两种体制的原理（图示）及优缺的对称加密：加密解密使用相同的密锁，优点：算法处理速度快，缺点：密钥分配问题，密钥管理问题，无法源认证。非对称：加密解密使用不同的密钥处理方式。优点：密钥分发方便，密钥保管量少，支持数字签名10限失真信源编码定理（香农第三定理）的物理意义设R(D)为一离散无记忆信源的率失真函数，如果编码后平均每个信源符号的信息传输率RR(D),则一定存在一种信源编码C，使编码后的平均失真度d(C)≤D.11信源编码逆定理的物理意义当编码后平均每个信源符号的信息传输率R小于率失真函数R(D)时，无论采取什么编码方式，一定有平均失真度d(C)D.物理意义：在允许失真D确定后，总存在一种编码方法，使编码后的信息传输率RR(D)，且可任意接近于R(D)，而平均失真小于允许失真D。如果RR(D),那么编码后的平均失真度将大于D，就不能在保真度准则下再现信源信息。12简述网络信息论研究的一般问题和主要内容及方法。网络信息论研究问题：在给定网络中已知信道整体特性的情况下求解网络的最大信息量，或已知信源特性的情况下求解信源信息的有效表示法