通信原理(02信息)

通信原理张敏[e-mail]通信原理二、想不到的价值——信息3Review通信归根到底是点对点的通信通信系统4Review5Review数字通信系统信源编码：提高传输的有效性信道编码：提高传输的可靠性6Review通信系统的性能指标7单元概述通信系统通的是什么信？什么是信息？信息怎么计算？信息度量有什么意义？82．1想知道什么——信息•消息（MESSAGE）•信号（SINGNAL）•信息（INFORMATION）92．1想知道什么——信息消息（MESSAGE）：声音、文字或者图像等等这种人能够感知的描述。信号（SINGNAL）：消息的载体形式。信息（INFORMATION）：抽象的、本质的。是消息的有效内容。102．1想知道什么——信息（1）杀敌时的鼓声就是一个信号，他要传达的信息是冲锋陷阵、奋勇杀敌。（2）仗打得差不多的时候的锣声也是一个信号，传达的信息是鸣金收兵，咱不打了。（3）灯塔上的灯光是信号，它要传达的信息可能是此处有暗礁，请绕行！（4）航海用的旗语是信号，它要传达的信息因旗语的不同而异。（5）无线电报用滴答的代码传递消息，无线电传输的是无线电信号。（6）电话将声音信号转换为电信号在电缆中传送。•信息=信号？消息？112．1想知道什么——信息•“信息”(information)既不等于消息(message)，也不等同于信号！•信息可被理解为消息中包含的有意义的内容•消息可以有各种各样的形式，但消息的内容可统一用信息来表述•传输信息的多少可直观地使用“信息量”进行衡量122．1想知道什么——信息例如，在情人节那天甲对乙说：“我爱你”，在愚人节那天甲对乙说：“我爱你”，前一消息包含的信息显然要比后者少些。同样，当你听说“有人被狗咬了”并不会感到惊奇，但若有人告诉你“一条狗被人咬了”你一定非常吃惊。对接收者来说，事件愈不可能发生，愈会使人感到意外和惊奇，则信息量就愈大量度消息中所含的信息量值，必须能够用来估计任何消息的信息量，且与消息种类无关消息中所含信息的多少也应和消息的重要程度无关132．2废话有多少信息量用相同的消息量来表达的信息量是不一样的。对于一个通信系统，若用相同长度的二进制信号，能传输的信息量越大，说明其通信能力越强。142．2废话有多少信息量铁路系统运送货物量多少采用“货运量”（不管运送什么货物）来度量通信系统中传输信息的多少采用“信息量”来度量。注意：信息量的大小实际上与内容无关一个消息对于接收者很有价值（即信息量大）在于这个消息是他不知道的事情或觉得不可能发生的事情（即小概率事件）。152．2废话有多少信息量信息与信息量:消息中所包含信息量的多少，不是由消息的多少来决定，而是与该消息发生的概率密切相关。消息发生的概率越小（越不可预测），信息量就越大。且概率为零时(不可能发生事件)信息量为无穷大，概率为1时(必然事件)信息量为0162．2废话有多少信息量（1）消息x发生的概率P(x)越大，信息量I越小；反之，发生的概率P(x)越小，信息量就越大。172．2废话有多少信息量（2）当概率为1时，信息量为0P=1时I=0P=0时I=∞182．2废话有多少信息量（3）当一个消息由多个独立的小消息组成时，那么这个消息所含信息量应等于各小消息所含信息量的和，I[P(x1)P(x2)…]=I[P(x1)]+I[P(x2)]+…192．2废话有多少信息量什么函数能满足以上3个要求？对数！)(log)(1logxPxPIaaa=2单位为比特(bit，或b)a=e单位为奈特(nat，或n)a=10单位为笛特(Det)或称为十进制单位a=r单位称为r进制单位202．2废话有多少信息量课本P16比特——信息量的单位，但工程上习惯把它作为信号的单位通信中的基本问题，就是在一点再生另一点的信息在实际的通信系统中，消息往往是指发送的某些符号。这些符号能携带多少信息量，与这些符号发生的概率有关，而对于接收端来说，接收到的这些符号的概率是一定的。21【例2.1】试计算二进制符号等概率和多进制(M进制)等概率时每个符号的信息量。解：二进制等概率时，即P(1)=P(0)=1/2(bit)121log)0()1(2IIM进制等概率时，有P(1)=P(2)=…=P(M)=1/M11log)()2()1(MMIIIM(M进制单位)=log2M(bit)22【例2.2】试计算二进制符号不等概率时的信息量(设P(1)=P)。解P(1)=P，故P(0)=1-P，则)bit()(1log)0(log)0()bit(log)1(log)1(2222PPIPPI可见,不等概率时，每个符号的信息量不同23例题一个信息源由0、1、2共3个符号组成，3个符号出现的概率分别是1/8、1/4和1/2，且每个符号出现都是独立的。如果消息序列长为18，其中0出现8次，1和2各出现5次。试求消息序列所包含的信息量。0符号所携带的信息量：-log2(1/8)=3bit1符号所携带的信息量：-log2(1/4)=2bit2符号所携带的信息量：-log2(1/2)=1bit消息序列的总信息量：I=3*8+2*5+1*5=39bit24[例题]（顺便引出“信息熵”的概念）某信源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为1/2、1/4、1/8、1/8求：（1）晴、多云、阴、雨的各自所含信息量（2）信息串“晴-多云-阴-晴-晴-晴-多云-雨”所含的总信息量（3）此信源的每个消息的平均信息量（称为“信息熵”）25[例题]（顺便引出“信息熵”的概念）)(121log)(log)1(22bitPI晴晴)(241log)(log22bitPI多云多云)(381log)(log22bitPI阴阴)(381log)(log22bitPI雨雨某信源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为1/2、1/4、1/8、1/8求：（1）晴、多云、阴、雨的各自所含信息量26[例题]（顺便引出“信息熵”的概念）)()(2)(4)()2(雨阴天多云晴总IIIIIbitbitbitbit332241)(14bit某信源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为1/2、1/4、1/8、1/8求：（2）信息串“晴-多云-阴-晴-晴-晴-多云-雨”所含的总信息量27[例题]（顺便引出“信息熵”的概念）)/(75.1814)3(符号符号数平均信息量总bitII称为信息熵，因为其通用公式为)(log)()(2iiixpxpxH这个公式与物理热力学中的熵很相似。但热力学中的熵总是增加的，而信息熵在通信过程中则总是减小的。请注意其量纲某信源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为1/2、1/4、1/8、1/8求：（3）此信源的每个消息的平均信息量（称为“信息熵”）28平均信息量平均信息量Ｉ等于各个符号的信息量乘以各自出现的概率之和二进制时)0(log)0()1(log)1(22PPPPI把P(1)=P符号）/()1(log)1(log)1(log)1(log2222bitPPPPPPPPI29平均信息量下面计算多个信息符号的平均信息量。设各符号出现的概率为niinnxPxPxPxPxxx121211)()(),(),(,,且则每个符号所含信息的平均值(平均信息量)])(log)[()](log)[()](log)[()](log)[(122222121niiinnxPxPxPxPxPxPxPxPI30【例2.3】设由5个符号组成的信息源，其相应概率为161161814121EDCBA试求信源的平均信息量I。解符号）/(875.116416483212116log16116log1618log814log412log2122222bitI5个符号等概率出现时)/(322.25loglog22max符号bitNI31【例2.4】一信息源由4个符号A、B、C、D组成，它们出现的概率为3/8、1/4、1/4、1/8，且每个符号的出现都是独立的。试求信息源输出为CABACABDACBDAABDCACBABAADCBABAACDBACAACABADBCADCBAABCACBA的信息量。解：信源输出的信息序列中，A出现23次，B出现14次，C出现13次，D出现7次，共有57个。则出现A的信息量为)bit(11.302357log23232出现B的信息量为)bit(35.281457log142出现C的信息量为)bit(72.271357log132出现D的信息量为)bit(18.21757log7233该信息源总的信息量为I=30.11+28.35+27.72+21.18=107.36(bit))/bit(88.15736.107符号符号总数II上面计算中，我们没有利用每个符号出现的概率来计算，而是用每个符号在57个符号中出现的次数(频度)来计算的34)/bit(90.18log814log24138log83222符号I总的信息量为I=57×1.90=108.30(bit)可以看出，本例中两种方法的计算结果是有差异的，原因就是前一种方法中把频度视为概率来计算。当信源中符号出现的数目m→∞时，则上两种计算方法结果一样。当57个符号等概率出现时)/(bi833.557loglog22max符号tNI35通信中要寻求解决的问题通信系统的目的是信息传输，接收端（信宿）要能最大的获取发送端（信源）的信息。要解决以下问题：1、发送信号的概率如何分布才能的到最大熵？2、最大熵是多少？36当离散信源中每个符号等概出现，而且各符号的出现为统计独立时，该信源的平均信息量最大。此时最大熵Hmax=-NiNNN1log1log137图2-1熵与概率的关系38对于三元离散信源，当概率P1=P2=P3=1/3时信源最大熵H(X)max=1.585(bit),此结论可以推广到N元离散信源。减小或消除符号间的关联，并使各符号的出现趋于等概，将使离散信源达到最大熵，从而以最少的符号传输最大的信息量。这就是离散信源编码的目的。39小结信息是消息中包含的有意义的内容消息发生的概率越小信息量越大信息量的定义I=-loga(P(x))信息平均信息量的计算40信息对学习通信原理的意义信息这个概念贯穿了所有的通信原理，香农的信息论被认为是20世纪最重要的科学理论之一，也是高层次技术人才必不可少的基础知识我们要学习的通信技术，想要了解这些技术是被怎样创造出来的，就不能不了解信息的含义41自测题信息和消息有什么区别？信息：消息中包含的有意义的内容消息是信息的载体信息量的定义和单位是什么？I=-loga(P(x))信息量的单位由底数a决定。当a=2时，信息量的单位为比特42自测题设有A、B、C3个消息，分别以概率1/4、1/8、1/2传送，假设它们出现是相互独立的，试求每个消息的信息量。