搜索
1第2章信息的度量石志国北京科技大学电子信息系2几个重要的概念:(1)自信息(量)；(2)互信息(量)；(3)平均自信息(量)；(4)平均互信息(量)；第2章信息的度量2.1自信息和互信息2.2平均自信息2.3平均互信息3不确定性、惊讶度与信息量在事件发生前有不确定性在事件发生时有惊讶度在事件发生后有信息量当一个概率很低的随机事件发生时，会感到非常惊讶，并得到很大的信息量比如：9.11事件，美国纽约世贸大厦被炸4自信息量从信息源获取信息的过程就是其不确定性缩减的过程随机事件包含的信息与其不确定性紧密相关在统计分析中，使用概率作为衡量不确定性的一种指标可以推论出：随机事件包含信息的度量应是其概率的函数。52.1.1自信息随机事件的自信息量是该事件发生概率的函数，且满足以下公理化条件：可以证明，满足以上公理化条件的函数形式是对数形式。6(1)取对数的底为2，单位为比特(bit)(2)取自然对数(底为e)，单位为奈特(nat).1nat=1.443bit.(3)以10为底，单位为哈特莱(Hartley).1Hartley=3.322bit.(4)以r为底，1r进制单位=log2rbit.自信息量的单位与所用对数的底有关在现代数字通信系统中，一般采用二进制的记数方式。在信息量的计算中也多采用2为底的方式，一般默认为2为底：自信息量的单位7对数以及常用公式8自信息的性质9例1.自信息题目10联合自信息11条件自信息12几种自信息之间的关系自信息量、联合自信息量、条件自信息量都满足非负性和单调递减性三者都是随机变量、其值随着变量xi，yj的变化而变化。三者之间有如下关系式：13例2.自信息例题14二.互信息量设有两个离散的符号消息集合XY，X表示信源发出的符号消息集合Y表示信宿接收的符号消息集合每个符号消息相当于一个随机事件信源发出符号消息通过信道传递给信宿15集合XY的概率空间信源X的概率空间为：这里p(xi)(i=1,2,3等)是集合X中各个消息x1,x2,x3...的概率分布，又称为先验概率信源Y的概率空间为：这里p(Yj)(j=1,2,3等)是集合Y中各个消息Y1,Y2,Y3...的概率分布16收信者获得的信息量当信宿接到集合Y中的一个yj后，接收者重新估计关于信源的各个消息xi发生的概率就变成条件概率p(xi/yj)，这种条件概率又称为后验概率。收信者收到一个消息后，所获得的信息量等于收到消息前后不确定程度的减少量。不确定程度减少的原因，是由于收到消息前后概率空间的概率分布改变所致。17不确定程度的减少量当接收到yj后，重新估计xi的发生。收信者从不确定到比较确定或完全确定，依赖于所获得的信息量，可以直观地将它定义为：I(信息量)=不确定程度的减少量那么当接收者收到yj后，所获得的信息量为：收信者所获得的信息量随先验概率的增加而减小，随后验概率的增加而增加18信息量：消除不确定性度量互信息量等于自信息量减去条件自信息量：19从通信系统总体观察在通信前，可以认为输入随机变量X和输出随机变量Y之间没有任何关联关系，即X，Y统计独立，根据概率的性质：通信以后，输入随机变量X和输出随机变量Y之间由信道的统计特性相关联。20从通信系统总体观察这样，通信后流经信道的信息量，等于通信前后不确定度的差：21例3.互信息例题22