武汉理工信息理论与编码chapter1

1信息理论与编码朱健春电话：[phone]QQ：289924446办公室：鉴主15楼，通信实验室三2教材1.吕锋、王虹.信息理论与编码(第二版).人民邮电出版社，2010参考书2.傅祖芸.信息论—基础理论与应用.北京：电子工业出版社，20013.RobertJ.McElieceTheTheoryOfInformationAndCoding.北京：电子工业出版社，20033课程性质：必修课上课学时：40上课时间：1~10周考核方式：闭卷考试4第一章绪论主要内容：1、信息的概念2、信息的特点3、信息论的研究目的和内容4、信息论的发展历程与应用概述51、什么是信息信息是事物运动的状态与方式，是物质的一种属性。钟义信指出，信息不同于消息，消息只是信息的外壳，信息则是消息的内核；信息不同于信号，信号是信息的载体，信息则是信号所载荷的内容；信息不同于数据，数据是记录信息的一种形式，同样的信息也可以用文字或图像来表述。信息是认识主体所感知或所表述的事物运动的状态与方式。认识论意义上的信息进一步分为先验信息（认识主体具有的记忆能力）、实得信息（认识主体具有的学习能力）和实在信息（在理想观察条件下认识主体所获得的关于事物的全部信息）。6第一章绪论信息理论与编码牛津英文字典里给出的解释是“某人被通知或告知的内容、情报、消息”《辞海》（中国1999年普及版）：通信系统传输和处理的对象，泛指消息和信号的具体内容和意义，通常须通过处理和分析来提取。信息的量值与其随机性有关，如在接收端难以预估消息或信号中所蕴含的内容或意义，预估的可能性越小，信息量就越大。7第一章绪论信息理论与编码哈特莱（R.V.L.Hartley）在1928年发表的《信息传输》中提出“发信者所发出的信息，就是他在通信符号表中选择符号的具体方式”。1948年，美国科学家维纳（N.Wiener）在《控制论——动物和机器中通信与控制问题》一书中指出：“信息是信息，不是物质，也不是能量”。后来，维纳在《人有人的用处》一书中提出：“信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内容的名称”。8意大利学者郎格（G.Longe）在1975年出版的《信息论：新的趋势与未决问题》一书序言中提出：“信息是反映事物的形式、关系和差别的东西。信息是包含于客体间的差别中，而不是在客体本身中”。该定义代表了“信息就是差异”这一类说法。香农(C.E.Shannon)在1948年发表的著名论文“通信的数学理论”中对信息的定义，被认为是科学的定义，并对信息进行了定性和定量的描述。9信息是事物运动状态或存在方式的不确定性的描述。信源信道信宿（发送者）（收信者）干扰或噪声消息10在通信系统中，其传输的形式是消息，信息是消息的内容。消息的特点是：收信者在收到消息以前是不知道消息的具体内容的。通信的过程是一种消除不确定性的过程，不确定性的消除，就获得了信息。不确定性消除得越多，获得的信息就越多。11香农的以下三大论点，以新颖的思想和方法，跨出了用数学方法定量描述信息的关键一步，开创了通信领域信息理论新局面。(1)形式化假说它使利用数学工具对信息进行度量成为可能。(2)非决定论它从原则上解决了用什么样的数学工具解决信息度量问题。12（3）不确定性通信的作用就是通过消息的传递，使接收者从收到的消息中获取一定的信息，消除原先存在的某些不确定性。“不确定性”是与“可能性”相联系的。“可能性”在数学上是用概率来表示。概率大可能性大不确定性小。132.信息的特点1.信息是无形的2.信息可在时间上和空间上可以被转移3.信息可以共享4.信息可在一定条件下转化为时间和能量5.信息是可以度量的。146、信息具有可创造性（如文艺、影视、歌曲，能量不能创造）7、信息具有相对性（信息的价值是相对精神世界说的，所以具有相对性）8、信息具有实效性（信息的价值随时间而改变—股票—明天涨，昨天跌）9、信息具有独立性（可以独立于物质和能量）153、信息论的研究目的和内容研究目的：找到信息传输和处理过程的规律，以提高信息传输和处理过程中的可靠性、有效性、保密性和认证性，达到信息传输和处理系统的最优化。比如：在信息传输中，基本的极限条件是什么？实际上接近极限的设备是否存在？设计什么样的设备才能达到这些极限？16根据研究范围分类：1）狭义信息论（经典信息论）又称香农基本理论。主要研究信息的测度、信道容量、信源编码理论、信道编码理论。2）一般信息论信息的传输与处理，除了香农理论，还包括噪声理论、信息处理理论、统计检测与估计理论(维纳信息论)等3）广义信息论包括上述两方面内容，以及所有与信息有关的自然和社会领域。我们的课程内容主要是指狭义信息论。17信息传输模型22香农信息论压缩理论传输理论保密理论有失真信源编码无失真信源编码信道编码理论纠错码保密码压缩编码香农信息论的科学体系：23信息论的在本学科中的应用数据压缩：语音、图像、视频压缩降低信息传输所需要的功率数据的可靠传输图像的复原与重建244、信息论的发展与应用信息论从诞生到今天，已有半个多世纪，现已成为一门独立的理论科学。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。电的通信系统已有180年历史。信息论方法应用取得的成果：语音信号压缩、图像信号压缩、计算机文件压缩、模拟话路中数据传输速率的提高、计算机网中数据传输可靠性的保证25信息论的发展历程早期定义是由奈奎斯特（Nyquist,H）和哈特莱（Hartley,LVR）在20世纪20年代提出来的。1948年香农（C.E.Shannon）以《通信的数学理论》为题公开发表一篇关于现代信息论的开创性的权威论文。香农因此成为信息论的奠基人。26香农1959年的文章（Codingtheoremsforadiscretesourcewithafidelitycriterion）系统地提出了信息率失真理论，为各种信源编码的研究奠定了基础。60年代信道编码技术有较大进展，使它成为信息论的又一重要分支。1961年香农发表的《双路通信信道》开拓了网络信息论的研究。到70年代，从点与点间的单用户通信推广到多用户系统的研究，网络信息论得到发展。1970年代，保密通信、密码学和信息安全成为研究重点