信息论实验-熵和平均互信息

熵和平均互信息1信息熵的定义与计算离散信源X的熵定义为自信息的平均值,记为H(X)()()log()xHXpxpx),,()(21npppHXH简记为Page32.熵的基本性质(1)p=(p1,p2,…,pn)中，各分量的次序可以任意改变自信息非负，熵为自信息的平均熵非负即：小概率事件对熵的影响很小，可以忽略)p,,p,p(),-p,,p,p(limn21n2110qqHH0loglim0H(XY)=H(X)+H(Y|X)H(X1X2…XN)=H(X1)+H(X2|X1)+…+H(XN|X1…XN-1)对称性非负性扩展性可加性复合事件集合的不确定性为各个分事件集合的不确定性的和3.熵的基本性质(2)极值性定理2.4.3(离散最大熵定理)对于离散随机变量集合，当集合中的事件等概率发生时，熵达到最大值平均互信息的定义(;)()(|)()(|)IXYHXHXYHYHYX平均互信息的性质•非负性•线性变换下平均互信息的不变性•凸函数•定理1：是输入概率分布的上凸函数•定理2：对于固定的概率分布，为条件概率的下凸函数。);(YXI)(xp);(YXI)|(xyp)(xp实验1•二元信源X输出符号为{0,1}，PX(0)=0.5，条件概率分别为PY|X(0|0)=PY|X(1|1)=1-p，PY|X(1|0)=PY|X(0|1)=p。•比较x和y的错误率与p的关系•I（X;Y）与p的关系Page7实验2•一个三元无记忆信源，符号集为{0,1,2}，为的概率，用Matlab软件绘制熵函数曲线，并分析信源熵的性质。实验3•Y=X+N•X为-1和1的等概分布信源•N服从（-sqrt(3),sqrt(3)）的均匀分布，方差为1•N服从均值为0，方差为1的高斯分布•比较两种情况下的y的错误率，试说明原因。