信息论与编码复习课

“信息论与编码”复习1．消息、信号、信息的含义、定义及区别。信息是指各个事物运动的状态及状态变化的方式。消息是指包含信息的语言，文字和图像等。信号是消息的物理体现。消息是信息的数学载体、信号是信息的物理载体信号：具体的、物理的消息：具体的、非物理的信息：非具体的、非物理的同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息。2．信息论的起源、历史与发展。1924年，Nyquist提出信息传输理论；1928年，Hartly提出信息量关系；1932年，Morse发明电报编码；1946年，柯切尼柯夫提出信号检测理论；1948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。3．通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。信源的核心问题是它包含的信息到底有多少，怎样将信息定量地表示出来，即如何确定信息量。信宿需要研究的问题是能收到或提取多少信息。信道的问题主要是它能够传送多少信息，即信道容量的多少。4．通信的目的？要解决的最基本问题？通信有效性的概念。提高通信有效性的最根本途径？通信可靠性的概念。提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？通信系统的性能指标主要是有效性，可靠性，安全性和经济性。通信系统优化就是使这些指标达到最佳。从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。提高通信有效性的最根本途径是信源编码。减少冗余。提高可靠性：信道编码。增加冗余。提高安全性：加密编码。7．随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义？信源符号不确定度：具有某种概率的信源符号在发出之前，存在不确定度，不确定度表征该符号的特性。符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义不同：•不确定度是信源符号固有的，不管符号是否发出；•自信息量是信源符号发出后给予收信者的；•为了消除该符号的不确定度，接受者需要获得信息量。自信息量条件自信息量：联合自信息量：8．信息量的性质？含义？分别从输入端、输出端和系统总体来理解互信息量的含义。自信息量指的是该符号出现后，提供给收信者的信息量。9.各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系。信源熵：条件熵：疑义度：噪声熵：联合熵：11.平均互信息量的定义及物理意义？疑义度及噪声熵？12.平均互信息量的性质及理解？17.信源的种类（详细分类）？各举出几个例子。按时间和幅度分类：离散信源单符号离散信源文字，数字，数据等离散序列信源连续信源连续幅度信源话音，图像，图形等随机波形信源按符号之间的关系：无记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源有记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源20.信源的冗余度的定义和含义？为什么有些信源有冗余度？冗余度的计算。冗余度，表示给定信源在实际发出消息时所包含的多余信息。它来自两个方面，一是信源符号间的相关性；二是信源符号分布的不均匀性.29.信道的数学模型和分类？30.信息传输速率R的定义？信道转移概率、信道矩阵和信道容量C的定义？几种离散无噪信道的C？31.强对称，对称，准对称信道的含义及其C？式中，m为信道输出符号集中符号的数目。强对称信道：或：32.离散信道容量的一般计算方法及其步骤？36.什么是最佳编码？说出Shannon、Fano和Huffman编码的基本方法和主要特点。37.理解Huffman编码是最佳编码？40.简要说明下面几种译码准则：（1）最优译码准则；（2）最大似然译码准则BSC信道的最大似然译码可以简化为信道的最大似然译码可以简化为最最小汉明距离译码小汉明距离译码。41.信源与信道达到匹配的含义以及如何实现？信道剩余度的概念及计算？42.失真函数、平均失真度的定义及其含义？失真函数定义：推广-〉L长序列：平均失真度：43.信息率失真函数R(D)的定义、性质及其含义？R(D)与C的比较？对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许压缩的最小值为R（D）。如果选取对压缩更为有利的编码方案，则压缩的效果可能更好。但是一旦超过最小互信息这个极限值，就是R(D)的数值，那么失真就要超过失真限度。如果需要压缩的信息率更大，则可容忍的平均失真就要大。信息率失真函数R（D）性质：44.Shannon第三定理及其含义？50.汉明距离和汉明重量的定义？错误图样的定义？随机错误和突发错误的定义？52.线性分组码的定义、构造、性质？三、判断（每题1分）（50道）1、必然事件和不可能事件的自信息量都是0。错2、自信息量是的单调递减函数。对3、单符号离散信源的自信息和信源熵都具有非负性。对4、单符号离散信源的自信息和信源熵都是一个确定值。错5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。对6、自信息量、条件自信息量和联合自信息量之间有如下关系：对7、自信息量、条件自信息量和互信息量之间有如下关系：对8、当随即变量X和Y相互独立时，条件熵等于信源熵。对9、当随即变量X和Y相互独立时，I（X；Y）=H（X）。错10、信源熵具有严格的下凸性。错11、平均互信息量I（X；Y）对于信源概率分布p（xi）和条件概率分布p（yj/xi）都具有凸函数性。对12、m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相同。错13、利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。对14、N维统计独立均匀分布连续信源的熵是N维区域体积的对数。对15、一维高斯分布的连续信源，其信源熵只与其均值和方差有关。错16、连续信源和离散信源的熵都具有非负性。错17、连续信源和离散信源都具有可加性。对18、连续信源和离散信源的平均互信息都具有非负性。对19、定长编码的效率一般小于不定长编码的效率。对20、若对一离散信源（熵为H（X））进行二进制无失真编码，设定长码子长度为K，变长码子平均长度为，一般K。错21、信道容量C是I（X；Y）关于p（xi）的条件极大值。对22、离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。错23、对于准对称信道，当时，可达到信道容量C。错24、多用户信道的信道容量不能用一个数来代表。对25、多用户信道的信道容量不能用一个数来代表，但信道的信息率可以用一个数来表示。错26、高斯加性信道的信道容量只与信道的信噪有关。对27、信道无失真传递信息的条件是信息率小于信道容量。对28、最大信息传输速率，即：选择某一信源的概率分布（p（xi）），使信道所能传送的信息率的最大值。错29、对于具有归并性能的无燥信道，当信源等概率分布时（p（xi）=1/n），达到信道容量。错30、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的极小值。对31、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。错32、当p（xi）、p（yj/xi）和d（xi，yj）给定后，平均失真度是一个随即变量。错33、率失真函数对允许的平均失真度具有上凸性。对34、率失真函数没有最大值。错35、率失真函数的最小值是0。对36、率失真函数的值与信源的输入概率无关。错37、信源编码是提高通信有效性为目的的编码。对38、信源编码通常是通过压缩信源的冗余度来实现的。对39、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。错40、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。对41、在编m（m2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。对42、游程序列的熵（“0”游程序列的熵与“1”游程序列的熵的和）大于等于原二元序列的熵。错43、在游程编码过程中，“0”游程和“1”游程应分别编码，因此，它们的码字不能重复。错44、L-D编码适合于冗余位较多和较少的情况，否则，不但不能压缩码率，反而使其扩张。对45、狭义的信道编码既是指：信道的检、纠错编码。对46、对于BSC信道，信道编码应当是一对一的编码，因此，消息m的长度等于码字c的长度。错47、等重码和奇（偶）校验码都可以检出全部的奇数位错。对48、汉明码是一种线性分组码。对49、循环码也是一种线性分组码。对50、卷积码是一种特殊的线性分组码。错四、简答（每题4分）（20道）1、信息的主要特征有哪些？（4）2、信息的重要性质有哪些？（4）3、简述几种信息分类的准则和方法。（5）4、信息论研究的内容主要有哪些？（8）5、简述自信息的性质。（13）6、简述信源熵的基本性质。（23）7、简述信源熵、条件熵、联合熵和交互熵之间的关系。（48）8、信道的分类方法有哪些？（93-94）9、简述一般离散信道容量的计算步骤。（107）10、简述多用户信道的分类。（115-116）11、简述信道编码定理。（128）12、简述率失真函数的性质。（140-145）13、简述求解一般离散信源率失真函数的步骤。（146-149）14、试比较信道容量与信息率失真函数。（164）15、简述编码的分累及各种编码的目的。（168）16、简述费诺编码的编码步骤。（170）17、简述二元哈夫曼编码的编码步骤。（173）18、简述广义的信道编码的分类及各类编码的作用。（188）19、简述线性分组码的性质。（196）20、简述循环码的系统码构造过程。（221）信息论基础A复习资料作者郝仁第一章概论在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息，把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。目前，信息论中主要研究语法信息归纳起来，香农信息论的研究内容包括：1)信息熵、信道容量和信息率失真函数2)无失真信源编码定理、信道编码定理和保真度准则下的信源编码定理3)信源编码、信道编码理论与方法一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信息运动包括获取、传递、存储、处理和施用等环节。第二章离散信源及离散熵单符号离散信源的数学模型：1212()()()()nnxxxXPxPxPxPX自信息量：()log()ixiIxPx，是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit,binaryunit)；对数底为e时，其单位为奈特(nat,natureunit)；对数底为10时，其单位为哈特(Hart,Hartley)自信息量性质：I(xi)是随机量；I(xi)是非负值；I(xi)是P(xi)的单调递减函数。单符号离散信源的离散熵：1()[()]()()niiiiHXEIxPxlbPx，单位是比特/符号(bit/symbol)。离散熵的性质和定理：H(X)的非负性；H(X)的上凸性；最大离散熵定理：()HXlbn如果除概率分布相同外，直到N维的各维联合概率分布也都与时间起点无关，即：111111()()()()()()klkkllkkkNlllNPXPXPXXPXXPXXXPXXX则称该多符号离散信源为N维离散平稳信源。N维离散平稳信源的数学模型：12121212()()()()NNNnNnaaaXXXPaPaPaPXXX1212,,,,,{1,2,,}NiiiiNaxxxiiin其中12121121()()()(/)(/)NNNiiiiiiiiiiiPaPxxxPxPxxPxxxx二维离散平稳信源的离散熵：2121211()()()()(/)niiiHXXPalbPaHXHXXH(X2/X1)称为条件熵，是条件信