搜索
《信息论与信息编码》课程教学大纲一、课程基本信息课程中文名称：信息论与信息编码课程代码：C0807011526学分与学时：3学分58学时（理论教学2.5学分48学时,实践教学0.5学分，10学时）课程性质：选修授课对象：2015电子本科（春季招生）二、课程教学目标与任务本课程是电子信息工程技术专业的专业课，介绍由香农理论发展而来的信息论的基本理论以及编码理论，联系实际通信系统，用较多的例题和图示展示基本概念的运用方法，特别强调概念阐述清楚、理论体系相对完整，围绕信息传输系统这一工程应用背景建立信息论的数学分析方法。读者在学习中应结合信息传输系统的数学模型理解信息论中基本理论方法，培养抽象分析能力和系统工程概念。三、学时安排课程内容与学时分配表章节内容理论学时实验（实训、上机等）学时备注第一章绪论4第二章离散信源及其信息度量10第三章离散信道及其信道容量10第四章无失真信源编码81024人/组第五章波形信源和波形信道8第六章限失真信源编码8合计4810四、课程教学内容与基本要求第一章绪论教学目的：使学生掌握信息论的概念基本要求：1.掌握一般通信系统的构成及各组成部分的作用，正确理解信息、消息、信号三个既有联系又有区别的概念；2.了解信息论的形成与发展的构成。重点与难点：教学重点：香农“信息”的定义教学难点：通信系统模型教学方法：讲授法主要内容：1.1信息的概念1.1.1信息1.1.2香农“信息”的定义1.1.3“信息”的度量1.2信息论的形成和发展1.3信息论的研究范畴1.3.1通信系统模型1.3.2信息论的研究内容第二章离散信源及其信息度量教学目的：理解并掌握信源及信源熵基本要求：1.理解信源的概念和分类；2.理解并熟练掌握一下基本概念：自信息量、条件自信息量、互信息量、条件互信息量、单符号熵、熵的性质；3.掌握自信息量、互信息量的计算方法；4.理解剩余度的概念及产生原因。重点与难点：教学重点：信源熵教学难点：马尔可夫信源教学方法：课堂多媒体演示；板书主要内容：2.1信源的分类及描述2.2信源的数学模型2.2.1单符号离散信源2.2.2简单的连续信源2.2.3多符号离散信源2.2.4多维连续平稳信源和波形信源2.3信息的度量和信源熵2.3.1自信息、联合自信息与条件自信息2.3.2互信息和条件互信息2.3.3信息熵2.4信源熵的基本性质和定理2.5离散无记忆扩展信源2.6离散平稳信源2.6.1离散平稳信源的数学模型2.6.2离散平稳信源的信息熵和极限熵2.7马尔可夫信源2.7.1马尔可夫信源的定义2.7.2马尔可夫信源的信息熵2.8信源的相关性和剩余度第三章离散信道及其信道容量教学目的：理解并掌握信道及信道容量基本要求：1.理解信道的概念和分类；2.掌握平均互信息的计算方法；3.理解组合信道的概念。重点与难点：教学重点：信道容量教学难点：组合信道教学方法：课堂多媒体演示；板书主要内容：3.1信道的分类及其描述3.2单符号离散信道的数学模型3.3平均互信息及其特性3.3.1平均互信息的定义3.3.2损失熵和噪声熵3.3.3平均互信息的特性3.4信道容量及其计算方法3.4.1信道容量的定义3.4.2无噪信道的信道容量3.4.3对称离散信道的信道容量3.4.4准对称离散信道的信道容量3.4.5一般离散信道的信道容量3.5多符号离散信道的数学模型3.6离散无记忆扩展信道的信道容量3.7组合信道及其信道容量3.7.1独立并联信道及其信道容量3.7.2串联信道及其信道容量3.8信源与信道的匹配第四章无失真信源编码教学目的：掌握无失真信源编码基本要求：1.掌握编码的定义及分类，码树图的画法；2.理解并掌握定长编码定理，平均码长以及编码效率的定义；熟练掌握获得最佳码的三种编码方法：香农编码、费诺编码；霍夫曼编码。教学方法：讲授法主要内容：4.1信源编码器4.2无失真离散信源编码定理4.2.1无失真定长信源编码定理4.2.2无失真变长信源编码定理4.3霍夫曼码和其他编码方法4.3.1唯一可译码和即时码4.3.2香农码4.3.3霍夫曼码4.3.4费诺码4.4算术码4.4.1香农-费诺-埃利斯码4.4.2算术码第五章波形信源和波形信道教学目的：掌握波形信源和信道基本要求：1.掌握波形信源的定义及分类；2.理解并掌握信息度量以及信道容量。教学方法：讲授法主要内容：5.1波形信源的统计特性和处理方法5.1.1波形信源的统计特性5.1.2随机波形信源的处理方法5.2连续信源的信息度量5.2.1连续信源的熵及其性质5.2.2连续信源的最大熵5.2.3熵功率5.3波形信源的信息度量5.4波形信道的分类和处理方法5.4.1波形信道的分类5.4.2波形信道的处理方法5.5连续信道的信道容量5.5.1连续信道的平均互信息5.5.2连续信道的信道容量5.6波形信道的信道容量5.6.1波形信道的信息传输速率5.6.2波形信道的信道容量第六章限失真信源编码教学目的：掌握限失真编码定理基本要求：1.掌握失真函数、平均失真和信息率失真函数的概念以及信息率失真函数的性质，掌握相关的简单计算；2.理解限失真信源定理的内容；3.了解一些常用信源编码方法的基本原理。教学方法：讲授法6.1失真测度6.1.1失真函数6.1.2平均失真6.1.3保真度准则6.2信息率失真函数6.2.1信息率失真函数的定义6.2.2R(D)函数的性质6.2.3R(D)函数的计算6.3限失真信源编码定理五、课程教学方式与考核方式1.教学方式：以课堂讲授为主，辅以课后作业等。2.考核方式：开卷考试（平时成绩20%，实验成绩20%，期末试卷成绩60%）。六、参考教材及教学参考资料教材：陈前斌,蒋青,于秀兰.信息论基础.北京:高等教育出版社,2007．参考资料：[1]周荫清.信息论基础（第三版）.北京:北京航空航天大学出版社,2006．[2]王育民.信息论与编码理论.北京:高等教育出版社,2006．[3]曹雪虹,张宗橙.信息论与编码(第二版).北京:北京邮电大学出版社,2009.七、实验教学内容与要求一、实验教学目的与基本要求《信息论与信息编码》结合实验的实践，让学生更能深刻的理解和掌握这门课的基本概念、基本理论，并培养学生的动手实践能力。通过理论与实践的结合，才能更好的领会知识的真谛。二、实验内容与基本要求1、实验项目一览序号实验项目名称实验学时实验类型实验类别1香农编码5综合型必做2Huffman编码5综合型必做合计102、实验内容及要求实验一：香农编码实验一、[实验目的]1、理解香农第一定理指出平均码长与信源之间的关系；2、加深理解香农编码具有的重要的理论意义。二、[实验环境]windowsXP,MATLAB三、实验内容根据实验原理，设计shannon编码方法，在给定S、P条件下，实现香农编码并算出编码效率四、实验内容提要1.将消息符号概率降序排列2.计算累加概率3.计算码长,取整4.去除小数点，将累加概率变换成二进制数5.取小数点后k位数作为代码组6.实验代码实验二：Huffman编码一、实验目的1．复习C++程序基本编写方法，熟悉VC编程环境。2．会用VC调试Huffman编码程序。二、实验内容1．复习C++代码基本语法（结构体、树等数据结构定义）2．根据Huffman编码源代码，学习算法实现流程，培养自己动手能力，在C++编译器下按步调试跟踪算法。三、实验仪器、设备1．计算机－系统最低配置256M内存、P4CPU。2．C++编程软件－VisualC++7.0（MicrosoftVisualStudio2003），VisualC++8.0（MicrosoftVisualStudio2005）四、实验内容提要1．VC环境下，建一个C++控制台应用程序，并把源代码考到该程序目录下。2．项目文件中含有一个预编译头文件，一个主函数入口文件和Huffman编码算法文件。3．在入口文件中，输入任一个离散信源进行编码调试。4．设置好程序断点，仔细分析Huffman树每步的建立过程。5．输出离散信源中每个符号的Huffman编码，并与手工运算的结果进行比较。三、参考教材及教学参考资料马杰：《信息论与编码》.河北工业大学信息工程学院，2008.四、实验成绩评定办法实验课成绩由预习报告成绩、实验报告成绩、实验结果成绩三部分组成