信息论的形成和发展

信息论与编码InformationTheory&Coding主讲张丽英长春大学电子信息工程学院2009年3月3日信息论与编码------第一章绪论总学时：48理论课：40习题测试：8周学时：68周课信息论与编码------第一章绪论教材：《信息论与编码》主编曹雪虹参考书：1、《信息论与编码》作者：付祖云编著电子工业出版社2、《信息论与编码》作者：陈运周亮陈新电子工业出版社3、《应用信息论基础》作者：朱雪龙编著清华大学出版社4、《信息论理论基础》作者：贾世楼编著哈尔滨工业大学出版社信息论与编码------第一章绪论本课主要介绍信息的基本概念，信息论研究的对象、目的和内容，信息论发展简史及现状。介绍了信息论三个基本概念，信源熵、信道容量和信息论失真函数，以及相关的编码定理，信源编码、信道编码、安全编码。信息论与编码------第一章绪论目录第一章绪论第二章信源和信息熵第三章无失真信源编码第四章限失真信源编码第五章信道编码第六章密码学信息论与编码------第一章绪论第一章绪论§1.1信息论的形成和发展信息论与编码------第一章绪论一、什么是信息C.E.Shannon：信息就是一种消息N.Wiener：信息是人与外界相互作用的过程中所交换的内容的名称钟义信：信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式知识。信息论与编码------第一章绪论20世纪通信技术的发展推动了信息理论的研究.美国科学家H.Nyquist于1924年解释了信号带宽和信息速率之间的关系.美国科学家L.V.R.Hartley于1928年开始研究通信系统传输信息的能力，给出了信息的度量方法.美国科学家C.E.Shannon于1948年发表的著名论文《通信的数学理论》AMathematicalTheoryofCommunication奠定了信息论的理论基础.二、信息论的形成和发展信息论与编码------第一章绪论C.E.Shannon针对人类的通信活动提出以下论点：（1）形式化假说：通信的基本问题是消息的接收端精确地或近似地复制发送端所挑选的消息。通常消息是有意义的，但通信的语义方面的问题与工程问题是无关的。（2）非决定论：实际的消息总是可能发生的消息集合中挑选出来的，因此通信系统必须设计得对每一种选择都能工作，因为各种消息的选择是随机的，设计者事先无法知道什么时候会选择什么消息来传送。（3）不确定性：两种情况下有通信的需要，一是自己有某种的消息要告知对方，而估计对方“不知道”该消息；二是自己有某种“疑问”要询问对方，估计对方能作出一定的解答。信息论与编码------第一章绪论1)狭义信息论：主要研究信息的测度、信道容量（信道的传输能力）、信源及信道的编码问题。这部分理论是Shannon信息论，也称基础信息论。2)一般信息论：也称为通信理论，主要研究信息传输的基本理论和通信的基本问题。3)广义信息论：除上述两方面的内容外，还包括所有与信息论有关的其它领域，如生物、遗传工程、经济、社会等领域。三、信息科学的研究范畴有三个层次信息论与编码------第一章绪论1)通信的统计理论：信息的度量：确定信息的测度。信源熵和信息速率：研究信源特性及其统计平均信息量,信源的信息速率。信道容量：研究信道传输能力四、信息工程的研究范畴两个方面：信息理论和信息技术1、信息理论信息论与编码------第一章绪论2)各种信源的统计特性文字的统计特性：文字的冗余度及可压缩性;语言的统计特性：语音的统计特性及可压缩性;图象的统计特性：图象的处理,图象的压缩格式;二元信源的统计特性：二元信息的压缩算法。信息论与编码------第一章绪论有效性编码：压缩信源的冗余,从而提高信息的传输效率,主要是针对信源的统计性进行编码,故也称为信源编码。2、编码理论与技术抗干扰编码：一般增加信源的冗余,有以提高信息传输的可靠性,主要是针对信道的统计性进行编码,故也称为信道编码;安全性编码：将信源的明文编码成密文，提高通信的安全性。信息论与编码------第一章绪论另:3、信息的传输效率和利用率，扩频、频带压缩、码分复用、宽带高速信道；4、抗干扰理论及相关技术调幅、调频；5、噪声中信号检测理论及技术；6、生物感官特性，听觉特性，视觉特性脑思维特性的研究；7、与其它学科有关的，研究生物医学的关系、光学的关系等。信息论与编码------第一章绪论五、信息、消息、信号、数据及其区别1）信息：（香农）信息是事物运动状态或存在方式的不确定性的描述。2）消息：用文字、符号、数据、语言、音符、图片、图象等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。消息是信息的载体。但不是物理的。信息论与编码------第一章绪论3）信号：把消息换成适合信道传输的物理量（如：电信号，光信号，声信号，生物信号等）。这种物理量称为信号。是消息的载体。4）数据：载有信息的可观测、可传输、可存储、可处理的信号。信息论与编码------第一章绪论六、信息的特征1、它的内容是不知道的；2、信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；3、信息可以产生，也可以消失；同时信息也可以被携带，储存及处理；4、信息可以度量。信息论与编码------第一章绪论按信息的性质分类：语法信息，语义信息和语用信息;七、信息的分类按观察过程分类：实在信息，先验信息和实得信息按信息的地位分类：客观信息（效果信息、环境信息）和主观信息（决策信息，指令、控制和目标信息）按信息的作用分类：有用信息、无用信息和干扰信息；按信息的逻辑意义分类：真实信息、虚假信息和不定信息；信息论与编码------第一章绪论按信息的传递方向分类：前馈信息和反馈信息；按信息的生成领域分类：宇宙信息、自然信息、思维信息和社会信息；按信息的信息源性质分类:语言信息、图像信息、数据信息、计算信息和文字信息；按信息的信号形成分类：连续信息、离散信息和半连续信息。还可以按按信息的应用部门、载体性质等分类。信息论与编码------第一章绪论§1.2通信系统的模型1）基本的通信系统模型信源信道信宿§1.1信息论的形成和发展信息论与编码------第一章绪论2）一般的通信系统模型信息论与编码------第一章绪论通信系统各部分的作用信源：信源是产生消息的源，消息是信息的载体；信源输出的消息要多于一种，何时输出何种消息是不确定的、随机的，但却是有规律的。信宿：信宿是消息传送的对象。信道：信道是信号从信源传送到信宿的通路。干扰源：整个通信系统中各种干扰的集中反映（理想化的干扰源）。信息论与编码------第一章绪论信源编码：将信源的原始信息按一定的理论或工程要求编成另一种消息形态（代码）。其作用是压缩冗余度，提高通信系统传输消息的效率。信道编码：在信源的代码上有目的地增加一些监督码元，以达到检查或纠正信息传输过程中产生的错误，提高信息传输的可靠性。加密编码：并将信源的明文编码成密文，提高通信的安全性。解码（译码）：是编码的逆过程，译码有信源译码、信道译码、解密译码。信息论与编码------第一章绪论3)信息论与编码与其他学科的关系：①信息论和编码所须的基础知识:概率论、数理统计、随机过程、矩阵论、近世代数、数论、电子、计算机基础知识.②需要信息论和编码知识的课程通信原理、数字移动通信、计算机技术、计算机网络通信、数字图像处理信息论与编码------第一章绪论第二章信源及信源熵第二章信源及信源熵§2.1信源的描述和分类一、信源的描述信源：是发出消息的源，是信息的来源。信息论与编码------第一章绪论1、连续信源――指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源。二、信源的分类如：语言、图像、视频等。第二章信源及信源熵按信源发出的消息在时间上和幅度上的分布情况分为两大类：信息论与编码------第一章绪论其又分为离散无记忆信源,离散有记忆信源⑴离散无记忆信源：①发出单个符号的无记忆信源（只发出一个符号代表一个消息）②发出符号序列的无记忆信源（每次发出一组含量个以上的符号序列代表一个消息）2、离散信源――指发出在时间和幅度上都是离散分布的离散消息的信源。如：文字、数字、数据、字母等。⑵离散有记忆信源：①发出单个符号的有记忆信源②发出符号序列的马尔可夫信源第二章信源及信源熵无记忆：发出的各个符号是相互独立的；各符号序列中的各个符号之间是没有统计关联的关系。各个符号的出现概率是它自身的先验概率。有记忆：发出的各个符号是相关联的。表述起来很困难。信息论与编码------第一章绪论当记忆长度为m+1时称这种记忆信源为m阶马尔可夫信源，即信源每次发出的符号与前m个符号有关，与更前面的符号无关。假设m阶马尔可夫信源输出的随机序列为X=X1X2…Xi-1Xi…XN。在这序列中某i时刻的随机变量X取什么符号只与前m个随机变量Xi-1Xi-2…Xi-m取什么符号有关，与其更前面的随机变量以及后面的随机变量取什么符号都无关。这样就可以用马尔可夫链来描述此信源。第二章信源及信源熵信息论与编码------第一章绪论定义一个离散无记忆信源是由n个符号消息组成的集合:X={x1，x2···xn}，)()()()(321321nnxpxpxpxpxxxxPXniiixpxp11)(,0)(从概率的角度看，可以将符号消息xi看一个随机事件。因此xi具有不确定性。)}(),(),({21nxpxpxpp这n个符号消息的概率分布是：称为符号xi的先验概率散信源数学模型表示为：三、信源的数学模型信息论与编码------第一章绪论例：掷一颗质地均匀的色子研究其下落后朝上一面的点数，每次实验结果必然是1，2，…6点中的某一个面朝上。这种信源输出的消息是“朝上面是一点”，“朝上面是两点”，…“朝上面是六点”，六个不同的消息。每次实验只能出现一种消息，出现哪一种是随机的，但必是六种情况中的一种。用符号表示为ai,i=1,…,6来表示这些消息，得到这信源的样本空间为符号集A=｛a1,a2,a3,a4,a5,a6｝.第二章信源及信源熵信息论与编码------第一章绪论实验证明各消息都是等概率出现的，都等于1/6，因此可用一个离散型随机变量X来描述这个信源的输出的消息。这个随机量X的样本空间就是符号集A，而X的概率分布就是各消息出现的先验概率为：p(a1)=p(a2)=p(a3)=p(a4)=p(a5)=p(a6)=1/6,信源的数学模型为：)()()()()()()(654321644321apapapapapapaaaaaaaPA信息论与编码------第一章绪论并满足：=1上式表示信源的概率空间必定是一个完备集。信源输出的消息只可能是符号集A=｛a1,a2,a3,a4,a5,a6｝中的任何一个，且每次必定选取其中一个。我们称由信源空间[A,P(a)]描述的信源A为离散无记忆信源，此信源在不同时刻发出的符号之间是无依赖的，彼此统计独立。)(61iiap信息论与编码------第一章绪论三、信息的定义一、信息论的形成和发展二、研究信息的目的四、信息工程的研究范畴五、信息、消息、信号、数据及其区别六、信息的特征七、信息的分类第一章绪论§1.1信息论的形成和发展本次课程内容回顾信息论与编码------第一章绪论§1.2通信系统的模型1）基本的通信系统模型2）一般的通信系统模型3)信息论和编码与其他学科的关系：信息论与编码------第一章绪论第二章信源及信源熵二、信源的分类三、信源的数学模型§2.1信源的描述和分类一、信源的描述