【精选资料】信息熵-平均互信息-信道容量2

《信息论与编码》实验1绘制熵函数曲线一、实验目的熟悉工作环境及Matlab软件掌握绘图函数的运用理解熵函数表达式及其性质二、实验原理信息熵自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。熵的表示()()()()()log()iiiiiiHXEIXpxIxpxpx注意的问题熵是自信息量的统计平均，因此单位与自信息量的单位相同，与熵公式中所用对数的底有关：bit/符号、nat/符号、dit/符号、r进制单位/符号。特殊公式：某个pk=0时，0log0=0(0limlog0xxx)在熵的定义中忽略零概率事件。平均互信息平均互信息量(I(X;Y))是统计平均意义下的先验不确定性与后验不确定性之差，是互信息量的统计平均:,,(/)()(;)()(/)log()(/)()log()(;)ijjjjijjijiijijijipxypyIXypypxypxpxypxypxIXY;/;/IXYHXHXYIYXHYHYX三、实验内容1.用Matlab软件绘制二进熵函数曲线。二元信源01011XpPpp二元信源的熵为(,1)log(1)log(1)Hpppppp绘制当p从0到1之间变化时的二元信源的信息熵曲线.Matlab程序：p=0.00001:0.001:1;h=-p.*log2(p)-(1-p).*log2(1-p);plot(p,h);title('二进熵函数曲线');ylabel('H(p,1-p)')2．绘制三元信源的熵三元信源1231212120,11()xxxXppppppPx三元信源的熵为111111221212(,,1)loglog(1)log(1)Hpppppppppppp绘制当12,pp从0到1之间变化时的三元信源的信息熵曲线.[p1,p2]=meshgrid(0.00001:0.001:1);h=-p1.*log2(p1)-p2.*log2(p2)-(1-p1-p2).*log2(1-p1-p2);meshc(p1,p2,h);title('三进熵函数曲线');3．绘制平均互信息量图形对于二元对称信道的输入概率空间为0,1(),1XPx平均互信息：(;)()(/)IXYHYHYX1()()(/)log(/)XYHYPxPyxPyx11()()[loglog]XHYPxpppp11()[loglog]()()HYppHYHppp根据：1()()(|)1rjijiiPbPaPba所以：21(0)()(0|)(0)(0|0)(1)(0|1)iiiPyPaPaPPPPpp21(1)()(0|)(0)(1|0)(1)(1|1)iiiPyPaPaPPPPpp1111(;)()()()log()log[loglog]()()()IXYHYHpppppppppppppHppHp绘制当,p从0到1之间变化时的平均互信息熵曲线.[w,p]=meshgrid(0.00001:0.001:1);h=-(w.*(1-p)+(1-w).*p).*log2(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log2(w.*p+(1-w).*(1-p))+(p.*log2(p)+(1-p).*log2(1-p))meshz(w,p,h)title('互信息');ylabel('H(w,p,h)')四、实验报告要求简述实验目的；简述实验原理；分别绘制二元信源和三元信源的熵及平均互信息量图形。通过图形分析他们的特点。实验2信道容量仿真一、实验目的熟悉工作环境及Matlab软件；理解信道容量的含义。二、实验原理离散信道的数学模型离散信道的数学模型一般如图6.1所示。图中输入和输出信号用随机矢量表示，输入信号为X=(X1,X2,…,XN)，输出信号为Y=(Y1,Y2,…,YN)；每个随机变量Xi和Yi又分别取值于符号集A={a1,a2,…,ar}和B={b1,b2,…,bs}，其中r不一定等于s；条件概率P(y|x)描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计特性。),...,,(21NXXXX)|(xyP),...,,(21NYYYY1)|(xyP离散信道模型二元对称信道这是很重要的一种特殊信道（简记为BSC），。它的输入符号X取值于{0,1}，输出符号Y取值于{0,1}，r=s=2，a1=b1=0，a2=b2=1，传递概率为ppPabP1)0|0()|(11,ppPabP1)1|1()|(22pPabP)1|0()|(21,pPabP)0|1()|(12其中，)0|1(P表示信道输入符号为0而接收到的符号为1的概率，)1|0(P表示信道输入符号为1而接受到的符号为0的概率，它们都是单个符号传输发生错误的概率，通常用p表示。而)0|0(P和)1|1(P是无错误传输的概率，通常用pp1表示。X1-pY01a10bpp12a21bYX信道二元对称信道用矩阵来表示，即得二元对称信道的传递矩阵为pppp111100依此类推，一般离散单符号信道的传递概率可用以下形式的矩阵来表示，即b1b2…bs)|()|()|()|()|()|()|()|()|(21222211121121rsrrssrabPabPabPabPabPabPabPabPabPaaa并满足式sjijabP11)|(（ri,,2,1）。为了表述简便，记ijijpabP)|(，信道的传递矩阵表示为rsrrsspppppppppP112222111211而且满足0jip是列的标号是行的标号ji平均互信息平均互信息表示接收到输出符号后平均每个符号获得的关于输入变量X的信息量，也表示输入与输出两个随机变量之间的统计约束程度。XYXyxPxyPxPxPYXI)|(1log)()(1log)();(XYXYyxPxyPxPxyP)|(1log)()(1log)(XYxPyxPxyP)()|(log)(XYyPxPxyPxyP)()()(log)(XYyPxyPxyP)()|(log)(其中X是输入随机变量，Y是输出随机变量。平均互信息是互信息（即接收到输出符号y后输入符号x获得的信息量）的统计平均值，所以永远不会取负值。最差情况是平均互信息为零，也就是在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量。对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的信道容量。()max{(;)}PxCIXY相应的输入概率分布称为最佳输入分布。e=0:0.1:1;h=1-0.5.*e.*log2(e)-0.5.*(1-e).*log2(1-e);plot(e,h);title('信道容量');ylabel('H(e,h)');c=max(h)三、实验内容一个信道是一个二进制输入，二进制输出的信道，输入和输出字母表{0,1}XY，且该信道特性由发送1码和0码的两个错误转移概率(0|1)Pe和(0|1)0P来表征。绘出当0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1e时的平均互信息(;)IXY和(1)pPX间的函数关系。确定每种情况下的信道容量。四、实验报告要求简述实验目的；简述实验原理；完成实验内容，给出图形和结果，并进行简单分析。-高氯酸对阿胶进行湿法消化后,用导数火焰原子吸收光谱技术测定阿胶中的铜、“中药三大宝,人参、鹿茸和阿胶。”阿胶的药用已有两千多年的悠久历史,历代宫①马作峰.论疲劳源于肝脏[J].广西中医药,2008,31(1):31.①史丽萍,马东明,解丽芳等.力竭性运动对小鼠肝脏超微结构及肝糖原、肌糖元含量的影响[J].辽宁中医杂志,①王辉武,吴行明,邓开蓉.《内经》“肝者罢极之本”的临床价值[J].成都中医药大学学报,1997,20(2):9.①杨维益,陈家旭,王天芳等.运动性疲劳与中医肝脏的关系[J].北京中医药大学学报.1996,19(1):8.1运动性疲劳与肝脏①张俊明.“高效强力饮”增强运动机能的临床[J]．中国运动医学杂志，1989，8（2）：10117种水解蛋白氨基酸。总含量在56.73%～82.03%。霍光华②采用硝酸-硫酸消化法和18（4）：372-374.1995,206．2②林华,吕国枫,官德正等.衰竭运动小鼠肝损伤的实验性[J].天津体育学院党报,1994,9(4):9-11.②凌家杰.肝与运动性疲劳关系浅谈[J].湖南中医学院学报.2003，2（6）31.②凌家杰.肝与运动性疲劳关系浅谈[J].湖南中医学院学报.2003，23（6）：31.②谢敏豪等.训练结合用中药补剂强力宝对小鼠游泳耐力与肌肉和肝Gn,LDH和MDH的影响[J]．中国运动医学杂②杨维益,陈家旭,王天芳等.运动性疲劳与中医肝脏的关系[J].北京中医药大学学报.1996,19(1):8.2.1中药复方2.2单味药33阿胶和复方阿胶浆③常世和等.参宝片对机体机能影响的[J].中国运动医学杂志，1991，10（1）：49.③聂晓莉，李晓勇等.慢性疲劳大鼠模型的建立及其对肝功能的影响[J].热带医学杂志，2007,7(4)：323-325.3.1概述3.2关于阿胶和复方阿胶浆医疗保健作用的3.2.1营养成分和评价3.2.2阿胶的药理作用3.2.3阿胶的临床应用4④XieMH,etal．EffectsofHongjingtianshe1uonreproductiveaxisfunctionandexercisecapacitiesinmen.The5⑤周志宏等．补肾益元方对运动小鼠抗疲劳能力的影响[J].中国运动医学杂志，2001，20（1）：83-84202-204.5`InternationalCourseandConferenceonPhysiologicalChemistryandNatritionofexerciseandtraining(Abstract)6⑥杨维益等．中药复方“体复康”对运动性疲劳大鼠血乳酸、p一内啡肤、亮氨酸及强啡肤Al-13影响的实验研⑥。仙灵口服液可提高机体运动能力，加速运动后血乳酸的消除。F3口服液能调整PCO2⑧孙晓波等．鹿茸精强壮作用的[J].中药药理与临床，1987，3（3）：11.⑨于庆海等．高山红景天抗不良刺激的药理[J]．中药药理与临床，1995，7（7）：283.⑩牛锐．淫羊藿炮制前后对小鼠血浆睾丸酮及附近性器官的影响[J]．中国中药杂志，1989,14(9):18．P0.01),其他肝功能相关指标未见异常(P0.05)。肝脏是动物机体重要脏器之一,Pi，同疲），肝主筋，人之运动皆由于筋，故为罢极之本”。人体肝脏的功能活动也必阿胶,味甘性平,入肺、肝、肾经,具有补血止血、滋阴润肺的功效。《神农本阿胶,又称驴皮胶,为马科动物驴的皮去毛后熬制而成的胶块,是中国医药宝库中阿胶、熟地配伍能使补而不滋腻,共奏益气补血之功,主要治疗各种原因导致的气血阿胶对细有促进作用；提示阿胶能提高机体免疫功能。另外阿胶具阿胶具有很好的止血作用，常用来治疗阴虚火旺、血脉受伤造成的出血。比如，阿胶能治疗缺铁性贫血，再生障碍性贫血等贫血症状，阿胶对血小板减少，白细阿胶是一类明胶蛋白，经水解分离得到多种氨基酸，阿胶具有很多的药理作用和阿胶又称驴皮胶,为马科动物驴的皮去毛后熬制而成的胶块。中药