信息论

信号论考试复习题一、填空题。1.香农信息论中定义的信息是“事物运动状态和存在方式不确定性的描述”。2.消息是信息的载体。构成消息的两个条件是能被通信双方所理解和可以在通信中传递和交换。3.信源编码的作用是根据失真度准则对信源的输出消息进行编码，用码字表示消息。4.信息论研究的主要问题是如何提高信息传输系统的有效性和可靠性。5.如果信源输出的消息的随机变量，可以在某一离散集合内取值，也可以在某一连续区间内取值，相应的信源就分别称为和。——[答案：1.连续信源离散信源]6.当条件概率分布p（y∣x）给定时，平均互信息量I（X;Y）是输入概率分布p(x)的。——【上凸函数】7.八进制脉冲的平均信息量为，八进制脉冲所含信息量是二进制脉冲信息量的倍。——【33】8.熵函数的数学特性有、、、确定性、可加性、极值性、上凸性。——【对称性非负性扩展性】9.平均互信息量I（X;Y）与信源熵和条件熵之间的关系是。【I（X;Y）=H（X）—H(X/Y)】10.设信源X包含4个不同的离散信息，当且仅当X中各个信息出现的概率为时，信源熵达到最大值为，此时各个信息的自信息量为。【1/422】11.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越。【小】12.信源的冗余度来自两个方面，一是信源符号之间的，二是信源符号分布的。【相关性不均匀性】13.离散信道是输入和输出的随机变量的取值都是离散的信道。14.信道可依据输入输出的随机变量类型分成离散信道、连续信道、半离散或半连续信道。15.单符号离散信道的输入符号是X，取之于｛a1、a2……an｝;输出符号为Y,取值为｛b1、b2、……bn｝，并有条件概率P(Y=bj/X=ai)=P(bj/ai)(i=1、2……m)，这一组条件概率称为信道的传递概率或转移概率。16.由香农公式]1log[NSWC可知：提高信噪比S/N能提高信道容量C17.若输入概率为P(X=ai)=P(ai)称为输入符号的先验概率，此时，对应地把P(ai/bj)称为输入符号的后验概率。18.若离散信道对任意长为N上的输入和输出符号序列有Niiixypp1)|()|(xy则称它为离散无记忆信道简记DMC。19.准对称信道的性质：每一行都是第一行的置换，每一列都是第一列的置换。20.实现准对称离散无记忆信道的信道容量的输入分布为等概率分布。21.信道剩余度定义为：信道剩余度=C-I(x,y)。22.信道容量又称为最大的信息传输率。23.信道组合有两大基本方式：级联信道和并联信道24.信源编码是研究在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源信息，以便提高信息传输率。25.码字含有的码符号个数都相同的码叫等长码,码中含有的所有码字都不相同的码叫非奇异码。26.对于二进制等长唯一可译码，共有q个符号需要被编码，每个信源符号至少需要用logq个码符号来变换。27.等长编码定理表述了，只要码字传输的信息量大于信源序列携带的的信息量，总能实现几乎无失真编码。28.香农第一定理的物理意义：对离散信源进行适当的变换，使变换后新的码符号信源尽可能等概率分布，使新信源的每个码符号平均所含的信息量达到最大,从而使信息传输速率达到信道容量。29.信息传输的效率取决于平均码长。30.在译码时无需参考后续的码符号就能立即做出判断的码称为即时码。31.信源编码解决的是通信系统的有效性。32.编码定理，又称___香农第二定律__，主要研究怎样使消息通过__有噪信道___传输后发生的错误最少，即研究通信的____可靠性__问题。33.信道的统计特征可由__信道的传递矩阵___来描述。34.在有噪信道中，传输的平均错误概率与各种编、译码方法有关。在___最大似然译码准则__下，使错误概率减小的编码方法就是使___码间的最小距离_____增大。35.在确定译码规则F(bj)=ai后，若信道输出端接受的符号为bj，发送的不是ai，就认为有错误，那么错误概率P（e|bj）称为____条件错误概率______。36.已知信道矩阵b1b2b3a10.50.30.2a220.20.30.5a30.30.30.437.根据最大似然译码准则可得信道平均错误概率最小为：__0.567____。38.费诺不等式解释了PE与信道疑义度H(X|Y)是有一定关系的，其关系是：_____________H(X|Y)≦H(PE)+PElog(r-1)_________39.长度为n的两个二进制序列（码字）ai和bj之间的距离是ai和bj之间对应位置上码元取值不同的个数用符号D(ai,bj)表示，这种码间距离通常称为__汉明距离_________。40.Dmin越大，PE越__小__，Dmin越__小__，PE越__大__。41.由信道逆定理可得：要使信息传输率大于信道容量而又无错误地传输消息是不可能的_____。42.对于组合000、001、010、011、100、101、110、111。选用000、001、010、011为许用码，其它码为__禁用码组______。43.信道编码的目的是为减少差错，提高可靠性，信道编码根据其不同功能，可分为____检错码、纠错码______________。44.在信道编码中，定义码组中_非零____码元的数目为码组的重量，简称码重。45.一种编码的最小码距直接关系到这种码的___检错和纠错能力____________。46.奇偶校验只能发现_单个或奇数个_________错误，而不能检测出_偶数____个错误。47.码字能纠、检错的充要条件：是码字的一些码元发生错误后，这个错的码字还码元变成其他码字____。48.无论是无噪信道还是有噪信道，只要信息速率R（）信道容量C，总能找到一种编码，使在信道上能以任意小的概率，以任意接近C的传输率来传送信息，--（小于)49.无论是无噪信道还是有噪信道，无失真的离散信源编码和有噪信道编码传输率R大于信道容量C，总不能实现（）的传输，----（无失真).50.在允许一定失真D的情况下，信源输出信道传输率可压缩到（）。－－Ｒ（Ｄ);51.当信源给定后，无失真信源压缩的极限值是（）；而失真信源压缩的极限值是（）－-［信源熵Ｈ（Ｕ);;失真函数Ｒ（Ｄ)］52.（）是用来测量信号发出符号Ｕｉ而在接收端再现成接收符号集中的符号ＶＪ所引起的失真或误差；－－（失真函数／失真度）；53.允许失真Ｄ是否能达到其下线值零，则只有当失真矩阵中（）有一个零元素是信源的平均失真才能达到下线值；－（至少）54.当Ｄｍｉｎ＝０时，表示心愿不允许任何失真存在，则只有当时真矩阵每行至少有一个零，并且每列（）只有一个零，才能使Ｒ（０）＝Ｈ（ｎ）成立。－－（最多）55.当Ｄ＝０时，Ｒ(Ｄ)，这点说明在连续信源情况下，要（）的输出是不能够的；－－（无失真的传送信源）56.根据率失真函数Ｒ(Ｄ),的性质，我们可以知道Ｒ(Ｄ）函数具有单调递减性和连续性，Ｒ（Ｄ）是Ｄ的（）；－－（下凸函数）57.在噪声信道中，对于同一失真Ｄ，Ｒ越大，Ｒ(Ｄ)就（），信源压缩特性越小，分层越多；－－（越大）58.设Ｒ(Ｄ)为一离散无记忆信源的率失真函数，如果编码后平均每个信源符号的信息传输Ｒ'Ｒ(Ｄ)，则一定存在一种（）Ｃ，使编码后的平均失真度ｄ(Ｃ)Ｄ。－－（信源编码）59.当编码后平均每个信源符号的信息传输率Ｒ'小于率失真函数Ｒ(Ｄ)时，无论采用什么编码方式，一定有（）；－－（平均失真度d（ｃ）＞Ｄ）60.在允许失真Ｄ确定后，总存在一种编码方式，使编码后的信息传输率Ｒ'大于Ｒ(Ｄ)且可任意接近于Ｒ(Ｄ),而（）小于允许失真Ｄ。－－（平均失真）61.比较香农第一定理和第三定理可知，当信源给定后，信源的（）函数可以作为衡量各种压缩编码方法性能优劣的一种尺度。－－（(Ｄ))62.根据香农第二定理，由存在一种信道编码，使压缩后的信源通过信道传输后，错误概率趋于零。因此在接收端再现信源的消息时，总的失真或错误不会超过（）。－－（允许失真）选择题单项选择题1.下面表达式中正确的是（A）。A.jijxyp1)/(B.iijxyp1)/(C.jjjiyyxp)(),(D.iijixqyxp)(),(2.彩色电视显像管的屏幕上有5×105个像元，设每个像元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。每秒传送25帧图像所需要的信道容量（C）。A.50106B.75106C.125106D.2501063.已知某无记忆三符号信源a,b,c等概分布，接收端为二符号集，其失真矩阵为d=121121,则信源的最大平均失真度maxD为（D）。A.1/3B.2/3C.3/3D.4/34.线性分组码不具有的性质是（C）。A.任意多个码字的线性组合仍是码字B.最小汉明距离等于最小非0重量C.最小汉明距离为3D.任一码字和其校验矩阵的乘积cmHT=05.率失真函数的下限为（B）。A.H(U)B.0C.I(U;V)D.没有下限6.纠错编码中，下列哪种措施不能减小差错概率（D）。A.增大信道容量B.增大码长C.减小码率D.减小带宽7.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量（A）。A.0bitB.log6bitC.6bitD.log240bit8.下列陈述中，不正确的是（D）。A.离散无记忆信道中，H（Y）是输入概率向量的凸函数B.满足格拉夫特不等式的码字为惟一可译码C.一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、纠错能力越强D.满足格拉夫特不等式的信源是惟一可译码9.一个随即变量x的概率密度函数P(x)=x/2，V20x，则信源的相对熵为（C）。A.0.5bitB.0.72bitC.1bitD.1.44bit10.下列离散信源，熵最大的是（D）。A.H（1/3,1/3,1/3）；B.H（1/2,1/2）；C.H（0.9,0.1）；D.H（1/2,1/4,1/8,1/8)11.下列不属于消息的是（B）。A.文字B.信号C.图像D.语言12.为提高通信系统传输消息有效性，信源编码采用的方法是（A）。A.压缩信源的冗余度B.在信息比特中适当加入冗余比特C.研究码的生成矩阵D.对多组信息进行交织处理13.最大似然译码等价于最大后验概率译码的条件是（D）。A.离散无记忆信道B.无错编码C.无扰信道D.消息先验等概14.下列说法正确的是（C）。A.等重码是线性码B.码的生成矩阵唯一C.码的最小汉明距离等于码的最小非0重量D.线性分组码中包含一个全0码字15.二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个0发出u1:一个1发出v0:一个0收到v1:一个1收到则已知收到的符号，被告知发出的符号能得到的信息量是（A）。A.H(U/V)B.H(V/U)C.H(U,V)D.H(UV)16.同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（B）。A.－log36bitB.log36bitC.－log(11/36)bitD.log(11/36)bit17.下列组合中不属于即时码的是（A）。A.{0，01，011}B.{0，10，110}C.{00，10，11}D.{1，01，00}18.已知某（6，3）线性分组码的生成矩阵011101110001111010G，则不用计算就可判断出下列码中不是该码集里的码是（D）。A.000000B.110001C.011101D.11111119.一个随即变量x的概率密度函数P(x)=x/2，V20x，则信源的相对熵为（C）。A.0.5bit/符号B.0.72bit/符号C