信息论与编码第2章PPT

信息论与编码1第二章信源及信源熵2.1信源的描述与分类2.1.1信源的分类信源的分类方法依信源特性而定，一般按照信源发出的消息在时间上和幅度上的分布情况，把信源分为：连续信源：发出在时间上和幅度上都是连续分布的连续消息的信源，如语音、图像、图形等都是连续消息。离散信源：发出在时间上和幅度上都是离散分布的信源，如文字、数字、数据等符号都是离散消息。信息论与编码2第二章信源及信源熵离散信源又可以细分为：（1）离散无记忆信源：所发出的各个符号之间相互独立，发出的符号序列中各个符号之间没有统计关联性，各个符号的出现概率是其自身的先验概率。可细分为发出单个符号的无记忆信源与发出符号序列的无记忆信源。布袋摸球实验：每次取1个球，球的颜色作为消息输出；每次先后取2个球，由两个球的颜色组成的消息就是符号序列，记录完颜色后球被放回。（2）离散有记忆信源：发出的各个符号之间不是相互独立的，各个符号出现的概率是有关联的。可细分为发出符号序列的平稳有记忆信源与发出符号序列的非平稳有记忆信源，后者诸如：发出符号序列的马尔可夫信源。每次先后取2个球，但记录完颜色后球不放回。信息论与编码3第二章信源及信源熵2.1.2离散信源的描述与度量发送方消息的选择具有随机性，否则就没有通信的必要了。换句话说，我们在收到消息之前，并不知道信源将要发出什么消息，信源是随机的、不确定的，因此，可用随机变量或随机矢量来描述信源输出的消息。或者说，用概率空间来描述信源。离散信源的数学模型就是离散型的概率空间：信息论与编码4第二章信源及信源熵的先验概率。称为符号iiaqiap),,2,1)((1)(1qiiap1)(0:iaP且满足发出单个符号的无记忆信源输出的都是单个符号的消息，出现的消息数是有限的，且只可能是符号集中的一种，即符合完备性——信源可能取的消息(符号)只有q个：，且每次必定取其中一个。12=,,,qaaa｛｝)(,),(),(,,,2121qqaPaPaPaaaPX信息论与编码5第二章信源及信源熵然而，很多实际信源输出的消息往往是由一系列符号所组成的。例如：中文信源的样本空间集合x是所有中文字母及标点符号的集合。由这些单字和标点符号组成的消息即是中文句子和文章。从时间上看，中文信源的输出是时间上离散的一系列符号，而其中每个符号的出现是随机的，由此构成了不同的中文消息。信息论与编码6第二章信源及信源熵例如：对离散化的平面图像来说，从空间上来看是一系列离散的符号，而空间每一点的符号(灰度)又都是随机的，由此形成了不同的图像。因此，可以将一般信源输出的消息看作为时间或空间上离散的一系列随机变量，即随机矢量。符号序列信源的输出可用N维随机矢量来描述，其中N可为有限正整数或可数的无限值。12=(,,)NXxxx信息论与编码7第二章信源及信源熵在上述随机矢量中，若每个随机变量都是离散的，则可用N重离散概率空间来描述这类信源。即若N维随机矢量中则),,2,1(Nixi),,,(21NxxxX12{,,,}iqxAaaaNi,,2,112(,,,)NNXxxxA信息论与编码8第二章信源及信源熵信源的N重概率空间为：这个空间共有个元素。111111()()()()qqqqqqaaaaaaXppaaapaaaNq信息论与编码9第二章信源及信源熵在某些简单的情况下，信源先后发出的一个个符号彼此是统计独立的，则N维随机矢量的联合概率分布满足即N维随机矢量的联合概率分布可用随机矢量中单个随机变量的概率乘积来表示。这种信源就是离散无记忆信源。NiixpXp1)()(信息论与编码10第二章信源及信源熵有记忆信源：输出的随机序列X中各随机变量之间有依赖关系。例如在中文字母组成的中文消息中，前后文字的出现是有依赖的，不能认为是彼此不相关的，放在N维随机矢量的联合概率分布中，就必然要引入条件概率分布来说明它们之间的关联。此外，对弈时，当前怎样走，通常是与先前已走步数所形成的局势有关。信息论与编码11第二章信源及信源熵描述有记忆信源要比表述无记忆信源困难得多。比较特殊的情况：信源发出的符号往往只与前面几个符号的依赖关系较强，而与更前面的符号依赖关系就弱。为此可以限制随机序列的记忆长度。m阶马尔可夫信源：信源每次发出的符号只与前m个符号有关，与更前面的符号无关。)|()|(2121miiiimiiiixxxxpxxxxp齐次马尔可夫信源：上述条件概率与时间起点i无关信息论与编码12第二章信源及信源熵2.1.3概率复习mjijinijjimjnijimjijnijimjjniijiijjijiminixpyxpypyxpyxpxypyxpypxpyxpxypyxpypxpyyyyxxxxYX111111112121)()(),()()3(1)(,1)/(,1)/(,1)(,1)()2(1)(),/(),/(),(,)(0)1(:},,,,{},,,,{,和分别取值于集合随机变量信息论与编码13第二章信源及信源熵mjjijiijnijijijijijiijijijjijijijiyxpyxpxypyxpyxpyxpypxpyxpxpyxpypxypYXyxpypxypxpyxp11)()()/(,)()()/()6()()()(),()/(),()/(,)5()/()()/()()()4(相互独立时与当信息论与编码14第二章信源及信源熵2.2离散信源熵和互信息信息的度量信息的可度量性----建立信息论的基础；信息度量的方法：结构度量﹑统计度量﹑语义度量﹑模糊度量等；统计度量：用事件统计发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念；熵概念是香农信息论最基本最重要的概念。信息论与编码15第二章信源及信源熵2.2.1自信息量在讨论了信源的数学模型，即信源的数学描述问题后，很自然接着会提出这样一个问题，即信源发出某一符号后，它提供多少信息量？这就是要解决信息的度量问题。在通信的一般情况下，信宿所获取的信息量，在数量上等于通信前后不确定性的消除(减少)的量。),,2,1(nixi信息量＝不确定性的减少量信息论与编码16第二章信源及信源熵事件发生的不确定性与事件发生的概率有关。事件发生的概率越小，猜测它有没有发生的困难程度就越大，不确定性就越大；而事件发生的概率越大，猜测这事件发生的可能性就越大，不确定性就越小；对于发生概率等于1的必然事件，就不存在不确定性。信源发生的概率越小，一旦它出现必然使人感到意外，给人的信息量就越大；反之，消息出现的概率很大，一旦出现人们不会感到意外，所以给人的信息量就很小，对必然出现的信息，则不具任何信息量。根据已有的数学理论可知对数函数具有上述特征。因此，信息量可以定义如下。信息论与编码17第二章信源及信源熵给出一个离散信源：其中p(xi)为xi出现概率，且如果消息xi已发生，则xi包含的自信息量为（2-2-1）)(,),(),(,,,2121nnxPxPxPxxxPX1)(1niixp1)(0ixP)(log)(iixpxI信息论与编码18第二章信源及信源熵式中：p(xi)－xi发生的先验概率；I(xi)—xi发生所含信息量。自信息量的单位与所用对数底有关。在信息论中常用的对数底是2，信息量的单位是比特（bit，binaryunit）；若取自然对数e为底，则信息量的单位为奈特（nat，naturalunit）；若以10为对数底，则信息量的单位为笛特（det，decimalunit）或者Hart(Hartley，哈特莱)。这三个信息量单位之间的转换关系如下：1bit≈0.693nat≈0.301det1nat=log2e≈1.433bit1det=log210≈2.322bit信息论与编码19第二章信源及信源熵如果p(xi)＝0.5，则由式（2-2-1）得I(xi)＝1bit。若是一个m位的二进制数，因为该数的每一位可以从0，1两个数字中任取1个，因此有2m个等概率的可能组合。所以,就是需要m比特的信息来指明这样的二进制数。Page17的例2-3mbitIm21log2信息论与编码20第二章信源及信源熵式(2-2-1)表示的自信量I(xi)有两方面的含意：①信源X发出符号xi以前，收信者对xi存在的先验不确定性。②信源X发出符号xi之后，xi所含有的(或能提供的)全部信息量。不确定度与自信息量：随机事件的不确定度在数量上等于它的自信息量，两者的单位相同，但含义却不同。某种概率分布的随机事件不管发生与否，都存在不确定度；而自信息量则是在该事件发生后给予观察者的信息量。信息论与编码21第二章信源及信源熵自信息量I(xi)的性质：I(xi)是p(xi)的单调递减函数当p(xi)=0时，I(xi)=∞；当p(xi)=1时，I(xi)=0；I(xi)是非负值；信息论与编码22第二章信源及信源熵发出符号序列的离散无记忆信源发出的消息的信息量：式中ni为第i个符号出现的次数，p(xi)为第i个符号出现的概率，N为离散消息源的符号数目。例2.1：（习题2-7）设有一离散无记忆信源，其概率空间为该信源发出的消息202120130213001203210110321010021032011223210,求：（1）此消息的自信息量是多少？（2）在此消息中平均每个符号携带的信息量是多少？NiiixpnI1)(log8/14/14/18/33210PX信息论与编码23第二章信源及信源熵解：(1)此消息总长为45个符号，其中0出现14次，1出现13次，2出现12次，3出现6次，则此消息的信息量(2)平均每个符号携带的信息量＝I/45≈1.95比特/符号)(81.8781log641log1241log1383log142222bitI信息论与编码24第二章信源及信源熵两个消息xi、yj同时出现的联合自信息量：用联合概率来表示，联合自信息量为当和相互独立时，有于是有)(jiyxp)(log)(jijiyxpyxIixjy)()()(jijiypxpyxp)()()(jijiyIxIyxI信息论与编码25第二章信源及信源熵条件自信息量：当和相互联系时，在事件出现的条件下，的自信息量称为条件自信息量，定义为为在事件出现的条件下，发生的条件概率。ixjyjyix)/(log)/(jijiyxpyxI)/(jiyxpjyix信息论与编码26第二章信源及信源熵联合自信息量与条件自信息量也满足非负与单调递减性。关系当X和Y独立时，)/()()/()(log)/()()/()(log)(22jijjijijiijijiyxIyIyxpypxyIxIxypxpyxI)()()(log)(log)(22jijijiyIxIypxpyxI信息论与编码27第二章信源及信源熵2.2.2离散信源熵前面定义的自信息是指某一信源发出某一消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。所以自信息是一个随机变量，不能用它来作为整个信源的信息测度。Page-18例2-4：定义自信息的数学期望为信源的平均自信息量，即)(ixI[()]()()()log()iiiiiiEIXpxIxpxpx信息论与编码28第二章信源及信源熵类似地，引入信源的平均不确定度，即在总体平均意义上的信源不确定度。这个平均不确定度的表达式和统计物理学中热熵的表达式很相似。在统计物理学中，热熵是一个物理系统杂乱性（无序性）的度量。这在概念上也有相似之处。因而就借用“熵”这个词把平均不确定度H(X)称为“信源熵”，也被称作“香农熵”、“无条件熵”、“熵函数”。()()log()()()[()]iiiiiiHXpxpxpxIxEIX信息论与编码29第二章信源及