马尔可夫过程在信源编码中的应用

河南城建学院马尔科夫过程在信源编码中的应用信息论基础姓名：王坤专业名称：电子信息工程专业班级：0934121指导老师：贺伟所在院系：电气与信息工程学院2014年12月20日摘要首先主要讲述了马尔科夫过程，对马尔科夫过程进行了简介，介绍了马尔科夫过程的数学描述方法并对马尔科夫过程的发展历史进行了简述。在第二章节对马尔科夫过程在信源编码中的应用进行了简单的论述及讲解。信息论中的编码主要包括信源编码和信道编码。信源编码的主要目的是提高有效性，通过压缩每个信源符号的平均比特数或降低信源的码率来提高编码效率；信道编码的主要目标是提高信息传输的可靠性，在信息传输率不超过信道容量的前提下，尽可能增加信源冗余度以减小错误译码概率。研究编码问题是为了设计出使通信系统优化的编译码设备随机过程是与时间相关的随机变量，在确定的时刻它是随机变量。随机过程的具体取值称作其样本函数，所有样本函数构成的集合称作随机过程的样本函数空间，所有样本函数空间及其统计特性即构成了随机过程。目录1引言……………………………………………………………12马尔科夫过程…………………………………………………23马尔科夫过程在信源编码中的应用…………………………44参考文献………………………………………………………1311引言随着现代科学技术的发展，特别是移动通信技术的发展，信息的传输在社会科学进步的地位越来越重要。因此如何更加高效的传输信息成了现代科技研究的重要目标。马尔可夫过程是一类非常重要的随机过程。很多在应用中出现的马氏过程模型的研究受到越来越多的重视。在现实世界中，有很多过程都是马尔可夫过程，马尔可夫过程在研究质点的随机运动、自动控制、通信技术、生物工程等领域中有着广泛的应用。我们可以通过对马尔可夫过程的研究来分析马尔可夫信源的特性。由于研究马尔科夫过程在信源编码中的作用，可以利用马尔科夫模型减少信息传输的冗余，提高信息传输的效率。马尔可夫信源是一类有限长度记忆的非平稳离散信源，信源输出的消息是非平稳的随机序列，它们的各维概率分布可能会随时间的平移而改变。由于马尔可夫信源的相关性及可压缩性，它已成为信息领域的热点问题。22马尔科夫过程2.1尔可夫过程简介马尔科夫过程(MARKOVProcess)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(tt0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔科夫过程。马尔科夫过程中的时同和状态既可以是连续的，又可以是离散的。2.2马尔可夫过程的数学描述2.2.1马尔科夫过程马尔可夫过程是下述这样的一种过程：在已经时刻t0系统所处状态的条件下，在时刻t0以后系统到达的情况与时刻t0以前系统所处的状态无关，完全取决于时刻t0系统所处的状态。这个特性称为无后效性，也称为“马尔可夫性”。马尔可夫过程数学定义如下：设{X(t),tT}为随机过程，如果对于任意正整数n及12...nttt,112211{(),(),...,()}0nnPXXXtxtxtx,并且其条件分布为11221111{()|(),(),...,()}{()|()}nnnnnnnnPXXXXPXXtxtxtxtxtxtx则称{X(t),tT}为马尔可夫过程，或称该过程具有马尔可夫性。按照时间和状态的离散、连续情况马尔可夫过程可分为三类：(1)时间与状态（空间）都离散的过程，称为马尔可夫链；(2)时间连续与状态（空间）离散的过程，称为连续时间的马尔可夫过链；(3)时间与状态（空间）都连续的马尔可夫过程。2.2.2马尔可夫链马尔可夫链的数学定义:设有随机过程{Xn，nT}，若对于任意的整数nT和任意的i0，i1，…in+1I，条件概率满足10111011{|,,...,}{|}nnnnnnnnPPiiiiiiXXXXXX则称{,}nnTX为马尔科夫链，简称马氏链。2.3马尔可夫过程的发展20世纪50年代以前，研究马尔可夫过程的主要工具是微分方程和半群理论；1936年前后就开始探讨马尔可夫过程的轨道性质，直到把微分方程和半群理论的分析方法同研究轨道性质的概率方法结合运用，才使这方面的研究工作进一步深化，并形成了对轨道分析必不可少的强马尔可夫性概念。1942年，3伊藤清用他创立的随机积分和随机微分方程理论来研究一类特殊而重要的马尔可夫过程──扩散过程，开辟了研究马尔可夫过程的又一重要途径。出于扩大极限定理应用范围的目的，马尔科夫在20世纪初开始考虑相依随机变量序列的规律，并从中选出了最重要的一类加以研究。1906年他在《大数定律关于相依变量的扩展》一文中，第一次提到这种如同锁链般环环相扣的随机变量序列，其中某个变量各以多大的概率取什么值，完全由它前面的一个变量来决定，而与它更前面的那些变量无关。这就是被后人称作马尔科夫链的著名概率模型。也是在这篇论文里，马尔科夫建立了这种链的大数定律。马尔科夫链的引入，在物理、化学、天文、生物、经济、军事等科学领域都产生了连锁性的反应，很快地涌现出一系列新的课题、新的理论和新的学科，并揭开了概率论中一个重要分支－－随机过程理论蓬勃发展的序幕。43马尔可夫过程在信源编码中的应用3.1通信中研究随机过程的重要性在通信、雷达探测、地震探测等领域中，都有传递信号与接收信号的问题。传递信号时会受到噪声的干扰，为了准确地传递和接收信号，就要把干扰的性质分析清楚，然后采取办法消除干扰。这是信息论的主要目的。噪声本身是随机的，所以概率论是信息论研究中必不可少的工具。信息论中的滤波问题就是研究在接收信号时如何最大限度地消除噪声的干扰，而编码问题则是研究采取什么样的手段发射信号，能最大限度地抵抗干扰。在空间科学和工业生产的自动化技术中需要用到信息论和控制理论，而研究带随机干扰的控制问题，也要用到马尔可夫随机过程。图3.1是通信系统模型。从信息论的角度来说，通信的过程就是不确定度减小的过程。而不确定性就是过程的随机性，所以从这个角度来说通信过程的研究可以归结到对于随机过程特性的研究过程。图3.1通信系统模型从图中可以看到，通信系统中用于表示信息的信号不可能是单一的确定的，而是具有不确定性和随机性的。这种具有不确定性，随机性的信号即称为随机信号。同时通信系统中存在各种干扰和噪声，这些干扰和噪声的波形更具有随机性，是不可预测的,我们称其为随机噪声。尽管随机信号和随机噪声都是不可预测的，但是它们具有一定的统计规律性。在通信系统中，编码过程分为信源编码和信道编码两种，信源编码是为了压缩信息之间的相关性，最大限度提高传信率，目的在于提高通信效率；而信道编码则相反，通过引入相关性，使信息具有一定的纠错和检错的能力从而提高传输信息的可靠性。对于信源编码，实现降低相关性有两种途径，一种是信源概率分布均匀化，另一种是信源独立化。从概率论和随机过程的角度来说，概率分布均匀化就是每个事件发生的概率大致相同，这样就会使每个信源携带的信息量基本相同，那么不确定性就达到最大，即传输过程中产生的信息量就最大；类似的信源独立化是通过对信源进行扩展达到的，通过信源的高次扩展，是扩展信源中每个噪声发信传输媒介收信受信信息5符号出现的概率大致相同，这样也实现信息量最大化。对于信道编码，由于信道中存在随机噪声，或者随机干扰，使得经过信道传输后所接收到的码元与发送码元之间存在差异，这种差异就是传输产生的差错。一般信道噪声干扰越大，码元产生差错的概率也就越大。所以信道编码的任务就是构造出以最小冗余度代价换取最大抗干扰性能的码字组合。从信道编码的构造方法看，其基本思路是根据一定的规律在待发送的信息码中加入一些人为多余的码字。这些码字的引入时信息之间具有相关性，虽然降低了信息所能携带的信息量，但是通过相关性可以克服由于随机噪声引入的误码情况。3.2马尔可夫信源3.2.1马尔可夫信源概述马尔可夫信源是一类相对简单的有记忆信源，信源在某一时刻发出某一符号的概率除与该符号有关外，只与此前发出的有限个符号有关。图3.2马尔可夫信源模型我们把前面若干个符号看作一个状态，可以认为信源在某一时刻发出某一符号的概率除了与该符号有关外，只与该时刻信源所处的状态有关，而与过去的状态无关。信源发出一个符号后，信源所处的状态即发生改变，这些状态的变化组成了马氏链。马尔可夫信源有记忆的特点：有限记忆长度；信源输出不仅与符号集有关，而且与状态有关；每发一个符号状态要发生转移。所谓状态，是指有限的相关符号组构成的序列。6信源的状态集：12,...}{,jseee信源基本符号集：12{,...},nxXXX在每一状态下可能输出的符号：输出随机符号序列：121......llXXXX输出随机状态序列：121......llSSSS设l时刻信源处于ie，输出kx的概率为(/),(/)kijillppxeee在l时刻，其前一时刻的状态ie之下而转移到je的状态转移概率为1p(/,)1lilmlioSexxSe称为一步状态转移概率信源输出的随机状态序列：121......llSSSS构成一个马尔可夫链(/),(/)kijillppxeee一般与时刻l相关如果上述条件概率与时刻l无关，称随机过程为时齐的。即有：0.(/)0jiLpee此时，信源输出的随机状态序列：121......llSSSS构成时齐马尔科夫链马尔可夫信源：以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源，其满足下列条件：（1）某时刻输出符号仅与此刻信源所处的状态有关；71p(/,)1lilmlioSexxSe当具有时齐性时，满足(/)(/)kikilppxexe（2）某时刻所处状态由当前输出符号与前一时刻信源状态唯一确定1p(/,)1lilmlioSexxSe马尔可夫信源输出的状态序列呈时齐马尔科夫链。下面是一个马尔可夫信源的分析实例，马尔可夫信源的信源符号123{,,}Xxxx，其可能的状态12345{,,,,}Seeeee，状态转移图及31(/)1kikpxe矩阵如下所示：a）矩阵表示b）一步转移矩阵图3.3马尔可夫信源的状态转移图及相关矩阵1112,11,.....(/.......)(/.......)mmmmmllkkkxxxxppxxxxxx,8(/)(/)jikilppeexe,311(/,)kliklpljxSexSe3.2.2m阶马尔可夫信源信源输出当前符号仅与前面m个符号有关的马尔可夫信源，这m个符号为信源在当前时刻的状态。状态总数为n的m次方。信源输出长度为m+1的随机序列转化为对应的状态序列，其构成马尔科夫链。1112,11,.....(/.......)(/.......)mmmmmllkkkxexxxppxxxxxx1MH的计算m阶马尔可夫信源的条件概率1111111...(/........)(/........)(/...)nmmnnNMNMNMmPPkkkkkkkkkPkkkxxxxxxxxxxxxm阶马尔可夫信源的极限熵111111111121.2..211..211.1lim((/.../...)lim...P(...)(/...)lim...P(...)(/...).......1logloglog(MmNNNiNNMmiNiNNmmNmmNNHPkkkPkkkkkkkPkkkkkkkkmkkxxxHXXXxxxxxxxxxxxx111.21112)(/...)(/...)logMmMmMmPkkkkHxxxxxxx1mH1MH的计算:11111111mm1..211.111..../(...)(/...)(/...)(/)/)nn)/)log(((mMMmimMmmnM