第二章_信息量

信息论基础FundamentsofInformationTheory武汉科技大学信息科学与工程学院信息论基础武汉科技大学第二章信息量信源的数学模型与分类离散信源和信息测度信息熵及其性质离散无记忆信源的信息熵马尔可夫信源信息论基础武汉科技大学信源数学模型与分类信源研究的方法：结论：对信源的研究，就是对信源发出消息的研究内在性质－外在形式信源的性质－发出的消息人的性格品质－言行举止信息是抽象的，而消息是具体的。消息是信息的携带者。信息论基础武汉科技大学信源数学模型与分类信源的分类：主要根据输出消息的随机性质进行分类。离散连续信源(根据输出消息的取值范围)单符号多符号信源（根据输出消息的数目）信息论基础武汉科技大学信源数学模型与分类信源的分类：如果输出是一个符号，随机变量–离散单符号信源：消息取值的数目有限.例：掷一个骰子–连续单符号信源：消息取值的数目无限.例：某一时刻的温度信息论基础武汉科技大学信源数学模型与分类信源的分类：如果输出是一串符号，随机序列例：连续两次掷骰子的点数对某天的早中晚温度变化情况信源的分类：输出的消息在时间上和取值上都是连续的，如语音信号、电视图像信号，称为波形信源。这种信源只能用随机过程来表示。信息论基础武汉科技大学信源数学模型与分类信源的数学模型：信源发出消息具有随机性－在信源发出消息之前，消息是不确定的用随机量表示信源发出的消息，随机量可以是随机变量、随机序列、随机过程。信息论基础武汉科技大学信源数学模型与分类为了表示一个随机量，用随机量的的样本空间及其概率空间来描述–可能输出的所有消息–各种消息的可能性结论：信源的数学模型，就是消息的概率空间)(......)()()(2211qqapaapaapaXpX消息的概率空间信源的数学模型：信息论基础武汉科技大学信源数学模型与分类例掷一个六面均匀的骰子，每次出现朝上一面的点数是随机的，以朝上一面的点数作为随机实验的结果，并把实验结果看作一个信源的输出，试建立数学模型。信息论基础武汉科技大学A：{1，2，3，4，5，6}——状态空间离散随机变量XP：{p(X=1)=1/6，p(X=2)=1/6，…，p(X=6)=1/6}——概率空间信源的数学模型：[X•P]=X：123456P(X)：1/61/61/61/61/61/6信源空间信源数学模型与分类信息论基础武汉科技大学信源数学模型与分类说明：①不同的信源，对应与不同的数学模型。即不同的信源概率空间。②用概率空间来表示信源的数学模型，有一个必要的前提，这就是信源可能发出的各种不同符号的概率必须是先验可知的，或是事先可测定的。这是香农信息论的一个基本假说。信息论基础武汉科技大学信息量－自信息量定义：某一信源发出某一消息，所携带的信息大小。简称自信息或信息量)(1log)]([)(xpxpfxI信息量单位：比特（2为底）；比特/符号奈特（e为底）；奈特/符号哈特（10为底）；哈特/符号注：一般使用比特为单位，底数2可以省略不写信息论基础武汉科技大学信息量－自信息量例：一条电线上串联了8只灯泡，这个8只灯泡损坏的概率是相同的，现有且只有一只灯泡损坏，造成串联的灯泡都不亮，需要用电压表测量来判断哪一只灯泡损坏，需要测量多少次？第一次第二次第三次信息论基础武汉科技大学信息量－自信息量在测量以前:8个灯泡都有可能，不确定性相对非常大；第一次测量后:定位到前4个灯泡中有一个出了问题，不确定性降低了一些；第二次测量后:定位到前两个灯泡其中一个灯泡出了问题，不确定性进一步降低；第三次测量后:完全清楚了哪一只灯泡有问题，不确定性完全消除。信息论基础武汉科技大学信息量－自信息量结论：获得信息量的过程，实际上就是减少或消除不确定性的过程获得信息以前，存在不确定性获得信息以后，消除不确定性信息量不确定性减小收到消息获得的信息量＝不确定性减少的量＝收到消息前不确定性－收到消息后不确定性信息论基础武汉科技大学信息量－自信息量现在定量研究信息量的大小。因为信息量大小与概率有关，所以可以设)]([)(xpfxI从定性的角度分析了信息量的大小是由事件发生的概率所决定的，概率大的事件信息量小；概率小的事件信息量大。信息论基础武汉科技大学信息量－自信息量递减性：如果)()(jixpxp)]([)]([jixpfxpf0)]([1)(iixpfxp)]([0)(iixpfxp极值性：ixjx)]([)]([)]([jjjixpfxpfxxpf可加性：独立事件的联合信息量是两两信息量之和，即如果和相互独立，则，则信息论基础武汉科技大学信息量－自信息量最后得出信息量的函数为：)(1log)]([)(xpxpfxI信息论基础武汉科技大学信息量－自信息量小技巧：计算器使用方法，如A事件发生的概率是1/3，信息量为：2ln3ln3log3log2信息论基础武汉科技大学信息量－自信息量计算上例中每次测量所获取的信息量信息论基础武汉科技大学信息量－自信息量不确定性减少的量第一次测量前，8个里面选一个，不确定性是，第一次测量后，4个里面选一个，不确定性为获得的信息量为1bit)(38log811logbit)(24log411logbit计算上例中每次测量所获取的信息量信息论基础武汉科技大学信息量－自信息量同理第二次测量前不确定性是2bit，测量后不确定性是1bit，获得的信息量是1bit；第三次测量前不确定性为1bit，测量后不确定性完全消失，为0，获得的信息量为1bit。信息论基础武汉科技大学信息量－自信息量例：美国大选，小布什支持率60％，戈尔支持率40％。（1）询问1个美国人，其支持小布什，问从中获得的信息量。（2）询问30个美国人，10人支持小布什，20人支持戈尔，问从中获得的信息量。信息论基础武汉科技大学构造信源的概率空间问一个人，如果回答支持小布什，获得的信息量是；如果回答支持戈尔，获得的信息量是30个人中，每个人的回答都不受其他人回答的影响，因此都是相互独立。利用信息量的可加性0.60.4小布什戈尔35log25log25log2035log10总I信息量－自信息量信息论基础武汉科技大学条件自信息量和联合自信息量自信息量是针对一维空间的，即发生一个随机事件的信息量。还有很多是多个随机事件一起发生，并且之间存在相关性，因此存在多维自信息量信息论基础武汉科技大学条件自信息量和联合自信息量条件自信息量：在已知事件的条件下，事件发生的概率为条件概率，那么条件自信息量定义为联合自信息量：事件，同时发生的概率是，那么联合自信息量为jyix)|(jiyxp)|(log)|(jijiyxpyxI)(jiyxp)(log)(jijiyxpyxIixjy信息论基础武汉科技大学条件自信息量和联合自信息量例：某住宅区共建有若干栋商品房，每栋有5个单元，每单元有12户，甲要到该住宅区找他的朋友乙，若：1.甲只知道乙住在第五栋，他一次找到乙的概率有多大？他能得到多少信息量？2.甲除了知道乙住在第五栋外，还知道乙住在3单元，他一次找到乙的概率有多大？他能得到多少信息量？信息论基础武汉科技大学条件自信息量和联合自信息量解：住在某一单元的概率是：知道单元，住在某一户的条件概率为既不知道单元，也不知道哪一户，一次能够找到朋友家的概率为知道是哪个单元，不知道是哪一户，一次能找到朋友家的概率为51)(jyp121)|(jiyxp601)|()()(jijjiyxpypyxp)(907.560log)(log)(bityxpyxIjiji121)|(jiyxp)(585.312log)|(log)|(bityxpyxIjiji信息论基础武汉科技大学信息熵及其性质信息量是指某一个信源发出某一消息（事件）的消息大小，信源可以发出的消息有很多，发出的消息不同，所携带的信息量也不同，如：发出的消息有4个：晴、多云、阴、雨。发出晴时，信息量是1bit，发多云时信息量是2bit，发阴或雨时信息量是3bit，发出的消息不一样，所携带的信息量也不一样。81814121雨阴多云晴信息论基础武汉科技大学信息熵的定义研究整个信源的信息测度，即把信源作为一个整体，研究信源每发出一个消息，平均能够携带多少信息量，即求信息量的统计平均。iiiapaXE)()(求统计平均就是求“数学期望”，公式是：信息论基础武汉科技大学信息熵的定义现在知道每个消息发出后携带的信息量，也知道每个消息发出的概率，因此很容易求出信源的平均信息量：这个平均信息量就是信源的熵。熵的单位是bit/符号，表示平均每一个信源符号携带了多少bit的信息量。)(log)()(1log)()]([)(iiiiiiiapapapapaIEXH信息论基础武汉科技大学信息熵的定义001loglimloglim1＝0log00由于规定分子分母都为无穷大时，用到了无穷大量的比较，对分母分子同时求导数000211ln2limloglimlim01ln2信息论基础武汉科技大学信息熵例：计算英文信源的信息熵（不考虑标点）英文信源X的信源空间：状态空间：X={A，B，C，……Z,空格}等概率出现27111()()log()27{log}2727log274.75bit/iiiHXpapa字母信息论基础武汉科技大学信息熵271()()log()4.02bit/iiiHXpapa字母字母空格ETOANIRS概率0.19560.1050.0720.06540.0630.0590.0550.0540.052字母HDLCFUMPY概率0.0470.0350.0290.0230.02250.02250.0210.01750.012字母WGBVKXJQZ概率0.0120.0110.01050.0080.0030.0020.0010.0010.001信息论基础武汉科技大学信息熵【课堂练习】掷一均匀硬币直到出现“正面”为止。令X表示表示所需掷的次数，求随机变量X的信息熵H(X)信息论基础武汉科技大学信息熵【课堂作业】关键—构造信源的信源空间。状态空间：X：{1,2,3,………}概率空间：掷一次硬币出现“正面”的概率P{X=1}=2-1信息论基础武汉科技大学信息熵掷两次硬币出现“正面”的概率P{X=2}={第一次出现“反面”}×{第二次出现“正面”}=2-1.2-1=2-2掷n次硬币出现“正面”的概率P{X=2}={第一次出现“反面”}……{第n-1次出现“正面”}.{第n次出现“正面”}=2-(n-1).2-1=2-n信息论基础武汉科技大学信息熵由此可以得到信源X的信源空间：:123........[]:111():........248XXPPX11(){}log{}12log2.()22bit/innnnnHXpXnpXnn次信息论基础武汉科技大学信息熵的意义例：布袋中80个红球，20个白球。摸一个，放回去再摸，摸了n次(),求每次摸到球的平均信息量。n1、信源输出的每个符号所携带的平均信息量信息论基础武汉科技大学信息熵的意义信源概率空间是摸一个，放回去再摸，摸了n次，，共摸了0.8n次红球，0.2n次白球总的信息量是：平均到每一次的信息量为2.08.0白红45log8.01log)(红I5log)(白In5log2.045log8.0)(nnI＋总)(H5log2.045log8.0IX＝＋信息论基础武汉科技大学信息熵的意义2、表示信源的随机性，熵越大，说明信源的随机性越大。熵表示的是不确定性的大小，也是随机性的大小。熵越大，随机性也就越大。信息论基础武汉科技大学信息熵的意义下面三个信源21222:[]:():0.70.3XaaXPPX11211:[]:():0.50.5XaaXPPX31233:[]:():0.990.01XaaXP