信源的数学模型及分类

信息论电子信息工程学院信息论主讲教师：李玉峰信息论电子信息工程学院通信过程是从信源开始的，信源发送的是消息或消息序列，通信系统中传递的是消息，消息中包含信息。因此，我们通过研究消息来研究信源。在通信系统中收信者在收到消息之前，对信源发出的消息是不知道的，是不确定的、随机的，所以可以用随机变量、随机矢量或者随机过程来描述信源输出的消息。通常用一个样本空间及其概率测度——概率空间来描述信源。2.1信源的数学模型及分类1212()()()()iqiqaaaaXpapapapaP10()1(1,2,,)()1qiiipaiqpa信息论电子信息工程学院信源的消息符号是离散的且是有限的，每次信源的输出为单个的信源符号，且所有符号的概率满足完备性，这是最基本的离散信源。如书信、文稿、电报等。如果信源输出为连续信号，如语音、电压、温度、压力、振动信号等，这些信源的输出都是连续的，随机取值的，称为连续信源。其输出消息是不可数的。连续信源的数学模型是连续型的概率空间，用下式表示：2.1.1信源输出的消息用随机变量描述2.1信源的数学模型及分类badxxpxpxpbaPX1)(0)()(),(，信息论电子信息工程学院2.1.2信源输出的消息用随机矢量描述实际信源每次输出的消息是按一定概率选取的符号序列，可以看做是时间上或者空间的随机矢量。用N维随机矢量表示，又称为随机序列。若随机矢量的各维概率分布都与时间起点无关，这样的信源称为平稳信源。每个随机变量Xi都是离散取值且其可能取值是有限的，这样的平稳信源称为离散平稳信源。每个随机变量Xi都是连续取值的连续型随机变量，这样的平稳信源则为连续平稳信源。12NXXXX2.1信源的数学模型及分类信息论电子信息工程学院2.1信源的数学模型及分类121122()()()()()NNNPXPXXXPXPXPX121()()()kNiiiiNikiPxPaaaPa若信源先后发出的各个符号彼此统计独立，则：若不同时刻的离散随机变量的取值于同一个符号集合则有：若该信源不同时刻发出的符号之间无依赖关系，彼此统计独立，则为离散无记忆信源。iX12:,,,qAaaa信息论电子信息工程学院2.1信源的数学模型及分类则信源X所输出的随机矢量X所描述的信源称为离散无记忆信源X的N次扩展信源。若信源在不同时刻发出的符号之间是相互依赖的，这种信源为有记忆信源。通常符号之间的依赖关系（记忆长度）是有限的，若记忆长度为m+1,则称这种有记忆信源为m阶马尔可夫信源。用条件概率来描述随机序列中各随机变量之间依赖关系：)()(21111miiiimiiiiixxxxPxxxxxxP1,2,,iN信息论电子信息工程学院2.1信源的数学模型及分类若上述条件概率与时间起点无关,即信源输出符号序列可看成为时齐马尔可夫链，则此信源称为时齐马尔可夫信源。在连续平稳信源情况下，也分为无记忆信源和有记忆信源。在连续平稳信源情况下，若信源输出的连续型随机矢量中，各随机变量之间无依赖且统计独立，则称此信源为连续平稳无记忆信源。在连续平稳信源情况下，若信源输出的连续型随机矢量中，各随机变量之间有依赖，则称此信源为连续平稳有记忆信源。信息论电子信息工程学院2.1信源的数学模型及分类2.1.3信源输出的消息用随机过程描述很多实际信源的输出消息常常是时间和取值都是连续的，例如语音信号、热噪声信号、电视信号等时间连续函数。同时在某一具体时间t0,它们的可能取值又是连续的和随机的。对于这种信源的输出消息，可用随机过程来描述。称这类信源为随机波形信源（也称随机模拟信源）。如电视信号X（x0,y0,t）按照取样定理，随机过程也可以用一系列离散的取样值来表示，即离散随机序列。信息论电子信息工程学院2.2离散信源的信息熵信源：信息的来源，是产生消息或消息序列的源泉离散信源：信源可能输出的消息数是有限的或可数的，每次只输出一个消息。离散信源的数学模型：式中，)()()()()(332121qqxpxpxxxpxpxxxPX0()1(1,2,)ipxiq1()1qiipx信息论电子信息工程学院2.2.1自信息问题的提出:每个消息携带多少信息量？整个信源能输出多少信息量？信源发出的消息是随机的，具有不确定性，收信者收到消息后，才能消除不确定性获得信息。如果某一消息发生的不确定性越大，一旦发生，获得的信息量就越大。不确定性的消除是一个从“不知-知”的过程，在此过程中，收信者获得足够的信息量。消息发生的不确定性和发生的概率有关，消息发生的概率越小，则消息中包含的信息量就越大。消息ai发生所含有的信息量称为消息ai的自信息量。?????2.2离散信源的信息熵信息论电子信息工程学院2.2.1自信息信息量的度量方法自信息量I(x)是P(x)的单调递减函数P(x)，I(x)；P(x)，I(x)；P(x)=1时，I(x)＝0；P(x)=0时，I(x)＝；两个独立事件的联合信息量应等于它们分别信息量之和，即统计独立信源的信息量等于分别信息量之和。满足上述3条件的关系式如下：)(log)(1log)(xPxPxIaa－自信息量的定义2.2离散信源的信息熵信息论电子信息工程学院上式中对数的底：若a=2，信息量的单位称为比特(bit)若a=e，信息量的单位称为奈特(nat)，若a=10，信息量的单位称为哈特(Hart)I(x)的含义：事件x发生前，I(x)表示事件x发生的不确定性事件x发生后，I(x)表示事件x所含有（或所提供）的信息量)(log)(1log)(xPxPxIaa2.2离散信源的信息熵信息论电子信息工程学院例2.1假设一条电线上串联8个灯泡，这8个灯泡损坏的可能性是等概率的，现假设这8个灯泡有一个且只有1个已经损坏，让我们检查判断哪一个灯泡损坏并分析信息获取的过程。解：用万用表进行检查判断2.2离散信源的信息熵信息论电子信息工程学院2.2离散信源的信息熵第一次获得的信息量第二次获得的信息量第三次获得的信息量第一次第一次第二次第一次第二次第三次1411log811log)(1log)(1log)]([)]([22221221xPxPxPIxPI1211log411log)(1log)(1log)]([)]([22322232xPxPxPIxPI1211log)(1log)]([2323xPxPI信息论电子信息工程学院2.2离散信源的信息熵结论：收到某消息获得的信息量=不确定性减少的量=（收到消息前某事件发生的不确定性）-（收到消息后关于该事件的不确定性）自信息是指某一消息所含有的信息量，消息不同，所含有的信息量也不同，不能用它作为整个信源的信息测度。用什么作为整个信源的信息测度?信息熵信息论电子信息工程学院2.2离散信源的信息熵2.2.2信息熵各离散消息自信息量的数学期望，即信源的平均自信息量——信息熵。单位：比特/符号。（底数不同，单位不同）信源的信息熵H考虑的是整个信源的统计特性。它是从平均意义上来表征信源的总体信息测度。对于某特定的信源（概率空间给定），其信息熵是个确定的数值。不同的信源因统计特性不同，其熵也不同。)(log)(])(1[log)]([)(212iniiiiapapapEaIEXH信息论电子信息工程学院2.2.2信源熵的物理意义信源熵H(X)表示信源输出后，每个消息（或符号）所提供的平均信息量。信源熵H(X)表示信源输出前，信源的平均不确定性。信源熵H(X)反映了变量X的随机性。2.2离散信源的信息熵信息论电子信息工程学院例如有两个信源，其概率空间分别为：可见信源Y比信源X的平均不确定性要大。信息熵正好反映了信源输出消息前，接收者对信源存在的平均不确定程度的大小，也反映了信源随机性的大小。)()(XHYH01.099.0)(21aaxPX)/(15.0log5.05.0log5.0)()/(08.001.0log01.099.0log99.0)(符号比特符号比特YHXH5.05.0)(21bbyPY2.2离散信源的信息熵