信息论 基础理论与应用第三版(傅祖芸) 第1章 绪论

信息论与编码2简介是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理中一般规律的学科。奠基人：美国数学家香农（C.E.Shannon）1948年“通信的数学理论”3简介信息论的基本问题—信息的度量无失真信源编码定理—香农第一定理信道编码定理—香农第二定理信源编码、信道编码绪论第1章51.1信息的概念6情报：是人们对于某个特定对象所见、所闻、所理解而产生的知识。知识：一种具有普遍和概括性质的高层次的信息，以实践为基础，通过抽象思维，对客观事物规律性的概括。消息：用文字、符号、语音、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。几个常见概念7信息论中最基本、最重要的概念，既抽象又复杂。信息≠消息：消息是表现形式，信息是实质；信息≠情报：情报一般只限于特殊领域，是一类特殊的信息；信息≠知识：知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息。信息≠信号：信号是承载消息的物理量。信息8狭义而言，通信中对信息的表达分三个层次：信号、消息、信息。信号：信息的物理表达，是一个物理量，是一个载荷信息的实体，可测量、可描述、可传输、可存储、可显示。消息(或符号)：信息的数学表达，承载了信息，它是具体物理信号的数学抽象。如语言、文字、语音、图像等。信息：更高层次的哲学抽象，是信号与消息的承载的对象，描述事物运动状态或存在方式的不确定性。信息的表达层次9什么是信息?到目前为止，国内外已有不下百余种流行的说法，它们都是从不同的侧面和不同的层次来揭示信息的本质的。1928年，哈特莱(R．V．LHartley)在《信息传输》一文中提出：发信者所发出的信息，就是他在通信符号表中选择符号的具体方式，主张用所选择的自由度来度量信息。局限性：只考虑选择符号的方式，不涉及到信息的价值和具体内容。没有考虑各种可能选择方法的统计特性。101948年，维纳(N．Wiener)控制论创始人维纳在《人有人的用处》一书中提出：“信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内容的名称。”局限性：信息的定义是不确切的。1948年，香农（C.E.Shannon）发表了一篇著名的论文“通信的数学理论”。他从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述：信息是事物运动状态或存在方式的不确定性的描述。11香农信息的度量（1）样本空间某事物各种可能出现的不同状态。（2）概率测度对每一个可能选择的消息指定一个概率。（3）概率空间先验概率p(xi)：选择符号xi作为消息的概率。)()()()(2121nnapapapaaaxPX样本空间概率测度12例：气象预报甲乙1/41/4,1/4,1/4,小雨大雨阴晴p(y)Y8/1,8/1,4/1,2/1)(小雨大雨阴晴xpX“甲地晴”比“乙地晴”的不确定性小。某一事物状态出现的概率越小，其不确定性越大。某一事物状态出现的概率接近于1,即预料中肯定会出现的事件，那它的不确定性就接近于零。13对xi的不确定性可表示为先验概率p(xi)的倒数的某一函数。（4）自信息（5）互信息先验的不确定性减去尚存的不确定性。后验概率p(ai|bj)：接收端收到消息bj后而发送端发的是ai的概率。)(1log)(iiaPaI)(1log)(1log);(jiijibapaPbaI14香农定义的优缺点在现有的各种理解中比较深刻，其优点：它是一个科学的定义，有明确的数学模型和定量计算。它与日常用语中的信息的含意是一致的。定文排除了对信息一词某些主观上的含意。也有其局限性：定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。没有考虑收信者的主观特性和主观意义，也撇开了信息的具体含意、具体用途、重要程度和引起后果等因素。15信息的特征•信息是物质存在的普遍属性，信息和能量、物质规定了事物的功能和性能；•接收者在收到信息之前，对它的内容是不知道的，所以，信息是新知识、新内容；它使认识主体对某一事物的未知性或不确定性减少的有用知识；•信息的存在具有普遍性、无限性、动态性、时效性和相对独立性；•信息可以产生，也可以消失，同时信息可以被传递、转换、扩散、复制、贮存、分割，具有可共享性；•信息是可以量度的，信息量有多少的差别。161.2信息论研究的对象、目的和内容17研究对象：通信系统模型信道信源信源编码加密信道编码干扰源信宿信源解码解密信道解码加密密钥解密密钥18信源：发送消息的源离散信源模拟信源信源是信息论的主要研究对象之一.我们不探讨信源的内部结构和机理，而关注信源的输出。重点讨论其描述方法及性质。信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。信道：传输信息的物理媒介。信源、信道、信宿19信源编码器通过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的效率。信源编码器分为两类无失真信源编码：适用于离散信源或数字信号；限失真信源编码：用于连续信源或模拟信号,如语音、图像等信号的数字处理。信源编码器与译码器信源编码器的主要指标是它的编码效率。一般来说，效率越高，编译码器的代价也将越大。信源译码器把信道译码器的输出变换成信宿所需的消息形式，相当于信源编码器的逆过程。20信道编码器与译码器信道编码主要作用是提高信息传送的可靠性。信道编码器的作用在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力。信道编码的主要方法增大码率或频带,即增大所需的信道容量。这恰与信源编码相反。信道译码器的作用具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。21密码学如何隐蔽消息中的信息内容,使它在传输过程中不被窃听.提高通信系统的安全性；将明文变换成密文,通常不需要增大信道容量,例如在二进码信息流上叠加一密钥流；但也有些密码要求占用较大的信道容量。从理论方面来说，若能把三种码合并成一种码来编译，即同时考虑有效、可靠和安全，可使编译码器更理想化，在经济上可能也更优越。这种三码合一的设想是当前众所关心的课题，但因理论上和技术上的复杂性，要取得有用的结果，还是相当困难。22香农信息论压缩理论有失真信源编码无失真信源编码率失真理论压缩编码等长编码定理变长编码定理最优码构成Huffman码Fano码传输理论有噪声信道编码理论码构成纠错码代数编码卷积码网络信道网络信息理论网络最佳码保密理论保密系统的信息理论保密码香农信息论的科学体系23信息论研究的目的找到信息传输过程中的共同规律，提高信息传输的可靠性、有效性、保密性、认证性，使信息传输系统达到最优化。认证性：接受者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造和窜改的。24信息论研究的内容狭义信息论：主要研究信息的测度、信道容量以及信源和信道编码理论等问题。一般信息论：主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。251.3信息论的形成和发展26信息论是在长期的通信工程实践和理论研究的基础上发展起来的。简史现代信息论是从20世纪20年代奈奎斯特和哈特莱的工作开始的：1924年奈奎斯特(Nyquist)的“影响电报速率因素的确定”。1928年哈特莱(Hartley)的“信息传输”一文研究了通信系统传输信息的能力，并给出了信息度量方法。信息论的形成271946年柯切尔尼柯夫的学位论文“起伏噪声下的潜在抗干扰理论”，根据最小错误概率准则和最小均方误差准则研究了离散和连续信道的最佳接收问题。1948年香农的权威性长文“通信的数学理论”，讨论了信源和信道特性，1949年香农“噪声中的通信”，两论文奠定了现代信息论的理论基础。此后，在基本理论和实际应用方面，信息论都得到了巨大的发展。28香农信息理论的数学严格化无失真信源编码定理和技术的发展信道纠错编码的发展限失真编码的提出和发展多用户、网络信息化的发展信息保密与安全理论的提出和发展信息论的发展29信息论的研究成果举例语音编码CCITTG.722，G.723.1，G.728图像编码JPEG,MPEG-4视频编码H.261,H.26330信息科学的形成：信息论与数学、物理、自动控制、系统工程、人工智能、生物学、计算机等学科相互渗透，相互结合，形成一门综合性的学科。新的重要分支：光学信息论量子信息论生物信息学……信息论的发展31新研究动向：信息概念的深化网络信息理论和多重相关信源编码理论的发展通信网的一般信息论研究磁记录信道的信息理论研究信息率失真理论及其在数据压缩和图像处理中的应用信息论在大规模集成电路中的应用32信息论和信息技术研究的问题信息科学：信息不是静止的，它会产生也会消亡。人们需要完成信息的获取、传输、交换、处理、检测、识别、存储、显示等功能。信息论：是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究可能性和存在性问题，为具体实现提供理论基础。信息技术：主要研究与信息各类处理模型如何实现的问题。