搜索
信息理论与编码吕锋、王虹、刘皓春、苏扬信息理论与编码第一章绪论2主要内容第1章绪论第2章信息的度量第3章信道模型和信道容量第4章离散无记忆信源无失真编码第5章有噪信道编码第6章限失真信源编码第7章网络信息论基础第8章信息安全与密码学基础信息理论与编码第一章绪论3第1章绪论1.1信息的基本概念1.2信息论的研究目的和内容1.3信息论的发展历程与应用概述信息理论与编码第一章绪论41.1信息的基本概念1.1.1信息概念的复杂性1.1.2信息的定义信息理论与编码第一章绪论51.1.1信息概念的复杂性用人们熟知的、与信息有某种联系的概念来定义信息用某些学科的专门术语和名词来定义信息从广义的角度、或者说从哲学意义上来定义信息从控制论和系统论的角度来定义信息从随机不确定性的角度来定义信息信息理论与编码第一章绪论6用人们熟知的、与信息有某种联系的概念来定义信息信息是消息；信息是数据。信息理论与编码第一章绪论7用某些学科的专门术语和名词来定义信息信息是集合之间的变异度；信息是一种场；信息是信号。信息理论与编码第一章绪论8从广义的角度、或者说从哲学意义上来定义信息信息就是信息，既不是物质也不是能量；信息是事物之间的差异；信息是事物相互作用的表现形式；信息是事物联系的普遍形式；信息是物质的普遍属性。信息理论与编码第一章绪论9从控制论和系统论的角度来定义信息信息是与控制系统相联系的一种功能现象；信息是控制的指令；信息是系统组织程度的度量；信息是有序性的度量；信息是负熵。信息理论与编码第一章绪论10从随机不确定性的角度来定义信息信息是收信者事先不知道的报道；信息是用以消除不确定性的东西。信息理论与编码第一章绪论111.1.2信息的定义本体论层次信息：某事物的（本体论层次）信息，就是事物运动的状态和方式，也就是事物内部结构和外部联系的状态和方式。认识论层次信息：某主体关于某事物的（认识论层次）信息，是指该主体所感知的相应事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。信息理论与编码第一章绪论12将认识论层次信息进行细分：将计及形式因素的信息部分称为语法信息，计及含义因素的信息部分称为语义信息，计及效用因素的信息部分称为语用信息。信息理论与编码第一章绪论131.2信息论的研究目的和内容狭义信息论（也称经典信息论）一般信息论广义信息论1.2.1信息传输基本模型1.2.2信息论研究的内容1.2.3目前信息论的主要研究成果信息理论与编码第一章绪论14狭义信息论（也称经典信息论）研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称香农基本理论。信息理论与编码第一章绪论15一般信息论研究信息传输和处理问题。除了香农理论以外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。后一部分内容是以美国科学家维纳（N.Wiener）为代表。信息理论与编码第一章绪论16广义信息论它不仅包括上述二方面的内容，而且包括所有与信息有关的自然和社会领域。在本书中，我们讨论的范围限于一般信息论。信息理论与编码第一章绪论171.2.1信息传输基本模型解调器UXVYˆVˆU)()()(tNtStR()Nt)(tS信源编码器调制器信道信源信宿等效信道信道编码器信道译码器信源译码器信息传输基本模型1T11T2T12ˆT信息理论与编码第一章绪论18信源、信宿和信道：信源是发送消息的源，根据其输出的性质，有数字信源和模拟信源之分。信源编码器与译码器：信源编码的实质就是为了去掉信源中的信息冗余。信源译码是信源编码的逆过程。信道编码器与译码器：信道编码主要作用是提高信息传送的可靠性。信道编码通常是在信息序列中有目的地加入冗余。信道译码规则要根据信道的噪声特性而定。信息理论与编码第一章绪论191.2.2信息论研究的内容通信的统计理论的研究信源的统计特性编码理论与技术的研究提高信息传输效率的研究抗干扰理论与技术的研究噪声中信号检测理论与技术的研究信息理论与编码第一章绪论20通信的统计理论的研究信息的测度；信息速率与熵；信道传输能力——信道容量。信息理论与编码第一章绪论21信源的统计特性文字（如汉字），字母（如英文）统计特性；语声的参数分析和统计特性；图片及活动图像（如电视）的统计特性；其它信源的统计特性。信息理论与编码第一章绪论22编码理论与技术的研究有效性编码，用来提高信息传输效率；抗干扰编码，用来提高信息传输的可靠性。信息理论与编码第一章绪论23提高信息传输效率的研究功率的节约；频带的压缩；传输时问的缩短，即快速传输问题。信息理论与编码第一章绪论24提高信息传输效率的研究各种调制制度的抗干扰性；理想接收机的实现。信息理论与编码第一章绪论25噪声中信号检测理论与技术的研究信号检测的最佳准则；信号最佳检测的实现。信息理论与编码第一章绪论261.2.3目前信息论的主要研究成果语音信号压缩图像信号压缩降低信息传输所需的功率计算机网中数据传输可靠性的保证图像信号的复原与重建模式识别问题与树分类器的设计信息理论与编码第一章绪论27语音信号压缩1972年CCITTG.711标准64kbit/s1995年CCITTG.723.1标准6.3kbit/s1989年欧洲GSM标准13.2kbit/s美国NSA标准的速率在1975年时已达到2.4kbit/s实验室中已实现600bit/s的低速率语音编码，特别是按音素识别与合成原理构造的声码器其速率可低于100bit/s，已接近信息论指出的极限。信息理论与编码第一章绪论28图像信号压缩1989年CCITT提出电视电话／会议电视的压缩标准H.2611991年CCITT与ISO联合提出的“多灰度静止图像压缩编码”标准JPEG运动图像专家组（MPEG）继成功定义了MPEG-1和MPEG-2之后，于1993年7月开始制订全新的MPEG-4标准。信息理论与编码第一章绪论29降低信息传输所需的功率根据信息理论的分析，采用低码率的信道编码可以降低传送单位比特所需的能量Eb与噪声功率谱密度N0之比。信息理论与编码第一章绪论30计算机网中数据传输可靠性的保证目前普遍采用的解决办法是带自动重发请求的差错检测码。规模较大的网络一般都用循环冗余检验。信息理论与编码第一章绪论31图像信号的复原与重建20世纪80年代以来，最大熵方法在图像复原与重建中取得了很大的成功。信息理论与编码第一章绪论32模式识别问题与树分类器的设计从统计分类以及统计信息的观点来看，熵、鉴别信息（交叉熵）与互信息是各种不同情况下可以选用的比较合理的距离量度。信息理论与编码第一章绪论331.3信息论的发展历程与应用概述1.3.1信息论发展简史1.3.2信息论的应用信息理论与编码第一章绪论341.3.1信息论发展简史17世纪到19世纪，美国物理学家吉布斯（Gibbs，JosiahWillard）和奥地利物理学家波尔兹曼（Boltzmann，Ludwig）首先把统计学引入物理领域，为信息论的诞生做出了贡献。这种探究方法为信息理论的创立提供了方法论的前提。1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理论是有启发的。1885年凯尔文(LKelvin)曾经研究过一条电缆的极限传信串问题。信息理论与编码第一章绪论351922年卡松（J.R.Carson）提出边带理论，指明信号在调制（编码）与传送过程中与频谱宽度的关系。1924年奈奎斯特（H.Nyquist）也提出，电信号的传输速率与信道频带宽度之间存在着比例关系。哈特莱(R.V.Hartley)在1922年发表《信息传输》的文章。1936年阿姆斯特朗（E.H.Armstrong）提出增加信号带宽可以使抑制噪声干扰的能力增强。1936年达德利（H.Dudley）发明了声码器。信息理论与编码第一章绪论36维纳在研究防空火炮的控制问题时，把随机过程和数理统计的观念引入通信和控制系统中，揭示了信息传输和处理过程本质。1948年香农发表了著名的论文《通信的数学理论》，1949年他又发表了另一篇论文《在噪声中的通信》，香农被公认为现代信息论的创始人。香农在1949年发表了论文《保密通信的信息理论》，首先用信息论的观点对信息保密问题作了全面地论述。费诺于1952年出了一种费诺码。同年，霍夫曼(D.A.Huffman)首先构造了一种编码方法，即著名的霍夫曼编码，并证明了它是最佳码。信息理论与编码第一章绪论371952年费诺（R.M.Fano）给出并证明了费诺不等式，并给出了关于香农信道编码逆定理的证明。1957年沃尔夫维兹采用了类似典型序列方法证明了信道编码强逆定理。1959年香农发表了《保真度准则下的离散信源编码定理》，首先提出率失真函数和率失真信源编码定理，才发展成为信息率失真编码理论。1960年左右提出了卷积码的概率译码，并逐渐形成了一系列概率译码理论。1961年费诺又描述了分组码中码率、码长和错误概率的关系，并提供了香农信道编码定理的充要性证明。信息理论与编码第一章绪论38香农又于1961年发表了论文《双路通信信道》，开拓了网络信息论的研究。1964年霍尔辛格(J.L.Holsinger)进一步发展了对有色高斯噪声信道容量的研究。1965年格拉戈尔(R.G.Gallager)发展了费诺的证明结论并提供了一种简明的证明方法。1968年，埃利斯(P.Elias)发展了香农-费诺码，提出了算术编码的初步思想。1969年平斯尔克（M.S.Pinsker）提出了具有反馈的非白噪声高斯信道容量问题。科弗尔于1989年对平斯尔克的结论给出了简洁的证明。信息理论与编码第一章绪论391971年伯格尔（T.Berger）给出了更一般信源的率失真编码定理。1971年艾斯惠特（R.Ahlswede）和1972年廖(H.Liao)找出了多元接入信道的信道容量区。1973年沃尔夫(J.K.Wolf)和斯莱平(D.Slepian)将其推广到公共信息的多元接入信道中。科弗尔、艾斯惠特于1983年分别发表文章讨论相关信源在多元接入信道的传输问题。1972年阿莫托(S.Arimoto)和布莱哈特(R.Blahut)分别发展了信道容量的迭代算法。信息理论与编码第一章绪论401975年科弗尔(T.M.Cover)采用典型序列方法内证明了这一结论。1976年里斯桑内(J.Ressanen)给出和发展了算术编码。著名的L-Z编码（通用信源算法）是齐弗（J.Ziv）和兰佩尔(A.Lempel)于1977年提出的,1978年他们又给出了改进算法，1976年迪弗和海尔曼发表了论文《密码学的新方向》。1990年贝尔等在L-Z算法的基础上又做出了一系列变化和改进。信息理论与编码第一章绪论411.3.2信息论的应用信息论在生物学中的应用信息论在医学中的应用信息论在管理科学中的应用信息论在经济学中的应用信息理论与编码第一章绪论42信息论在生物学中的应用生物信息的收集、储存、管理和提供；基因组序列信息的提取和分析；功能基因组相关信息分析；生物大分子结构模拟和药物设计；生物信息分析的技术与方法研究；应用与发展研究。信息理论与编码第一章绪论43信息论在医学中的应用从信息论的观点看，有机体是不断接收与输出信息，以维持正常的生命活动。在正常的无疾病的有机体系统中，信息的接收、传递、输出均有正常的秩序。人在生病时，信息道发生堵塞、信息产生异常。治疗实际上是给以药物、能量及其所携带的信息，补足缺乏信息，纠正错误的信息，疏通不流信息的通道。信息理论与编码第一章绪论44信息论在管理科学中的应用在现代化管理中，信息论已成为与系统论、控制论等相并立的现代科学主要方法论之一。信息论在企业管理中拥有重要的应用价值和应用前景。目前在大型企业中广泛实施的企业资源计划系统(ERP)，在管理系统的流程设计上引用了信息论的原理。信息理论与编码第一章绪论45信息论在经济学中的应用在经济学领域活跃着一门新的学科：信息经济学(EconomicsofInformation)。信息经济学可概