信息论发展

信息论的发展与现代信息论现代信息论是从上世纪二十年代奈奎斯特和哈特莱的研究开始的，他们最早开始研究了通信系统传输信息的能力，并且试图度量系统的信道容量。香农于1940年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8年的努力，1948年，来自贝尔研究所的ClaudeShannon（克劳德·香农）的《通信的数学理论》论文公诸于世，从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。信息论自从二十世纪四十年代中叶到二十一世纪初期，现已成为一门独立的理论科学，他给出一切传输、存储、处理信息系统的一般理论，并指出，实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946年的计算机和1947年晶体管的诞生和相应技术的发展，是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展，其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等，一切都离不开消息传递和信息流动。通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。自从香农十九世纪四十年代末两篇论文发表后，前苏联和美国的科学家采取了不同的研究途径经一部发展了信息论。柯尔莫哥洛夫、宾斯基和达布鲁新为首的一批著名数学家致力于信息论的公理化体系和更一般更抽象的数学模型，对信息论的基本定理给出了更为普遍的结果，为信息论发展成数学的一个分支作出了贡献。而在美国测试有一批数学修养很高的工程技术人员致力于信息有效处理和可靠传输的可实现性，维信息论转化为信息技术作出了贡献。20世纪50年代，信息论向各门学科发起冲击；60年代信息论进入一个消化、理解的时期，在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。从此信息论迈入第二个阶段。我国数学家和信息科学专家在二十世纪五十年代将信息论引进中国，经过六十余年的不懈努力，尤其从二十世纪八十年代中期以来，一批华裔信息论专家在国际学术界崛起，以周炯盘院士为代表，为信息论的发展作出了自己的贡献。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。虽然1948年香农就发明了信息论，但到90年代才找到或者再发现能够逼近香农极限的turbo码和LDPC码；再一个局限是香农的大部分结果都是在一定的理想条件或极限条件下推导出来的，在实际系统中，这些条件可能不能满足，因而不可能达到香农所得出的一些结论或界限，举一个例子，信源信道分离定理是在数据分组长度无穷大和静态信道条件下得到的，但实际系统中的编码可能会有分组长度和限制，信道也可能是时变的，因而产生出最近较新的所谓联合信源信道编码理论；最后一个是局限是点对点通信的局限性，因为通信的构架存在网络结构和多用户的结构，所以对于网络和多用户的情形，香农并没有更深入的研究，虽然他在50年代研究了twowaychannel，但并未得出有意义的结果，目前网络信息论或多用户信息论是一个比较活跃的领域，主要的有意义的结论在广播和多址接入信道，但都是退化的情形才成立的结论，更一般的情形，还有一些其他如中继信道等，还有待进一步研究。参考文献：叶中行,信息论基础[J],高等教育出版社卢侃,从Shannon信息论到认知信息论[A],哈尔滨工程大学学报,第32卷第8期.仇佩亮,信息论及其应用［M］,杭州：浙江大学出版社,1999谢邦荣，彭征明,信息论在作战效能评估中的应用研究[A],北京,2007邵军虎,量子LDPC纠错码算法及应用方案研究,西安电子科技大学[D],2012汪洋，赵万民,人居环境研究的信息论科学基础及其图谱意象系统[J],2012PKUCSSCI,香农信息定义分析与改进[J],2008年8期，洪洁，范修斌，范明钰,信息论及其在序列密码设计应用中的几点认识[],2003NeilSavage,InformationtheoryafterShannon[J],2011,Vol.54(2)GregoryJ.Chaitin,ATheoryofProgramSizeFormallyIdenticaltoInformationTheory[J],1975,Vol.22(3)