独立分量分析

盲信号处理导论（一）盲信号处理（BSP，BlindSignalProcessing）问题：当传输信道特性未知时，从一个传感器或转换器的输出信号分离或估计原信号的波形。注：不确定性是指被估计信号任意比例伸缩，排序和时滞。依然保留了原信号的波形，是可以被BSP接收的，对于BSP不是最关键的。盲信号处理导论三个主要方向：＊盲信号分离与提取（BSS：BlindSignalSeparation）确定一个或几个具有特殊统计或性质的子分量，舍弃不感兴趣的信号或噪声。用二阶统计量可以完成。＊独立分量分析（ICA：IndependentComponentAnalysis)得到相互独立的输出分量。在实际应用中应作一定的处理。用高阶统计量来进行分析。＊多通道盲解卷积和均衡（MBD）盲信号处理导论（二）处理方法和思路（四个）（1）HOS：高阶统计量衡量信号的独立性和高斯性，或稀疏性（ICA）。（2）SOS：有时序结构用二阶统计量（SOS）即可，不能分离具有相同功率谱形状或独立同分布信号。（3）NS+SOS：利用非平稳信息和SOS结合，能够分开功率谱形状相同的源信号。但若非平稳性也相同就不可以分离。（4）STF多样：运用信号不同多样性：时域多样性，频域多样性，空域多样性。TDMA，FDMA，SDMA盲信号处理导论（三）应用：医学，语音增强，无线通信（1）生物医学处理：非侵入式评估人体器官不同生理变化。典型：胎儿心电图信号提取。测量方法：在母体腹部放置若干体表电极，测量电位差信号ECG：包括MECG，FECG。母体心电图信号=胎儿心电图信×N（N=1.5～100）自适应滤波；胎儿的心率与母体心率不同的，可看作是独立的。测量盲信号处理导论（2）声音提取：典型例子：“鸡尾酒会”的问题。人的大脑可以很快辨出或集中听某种需要关注声音。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatx麦克风1麦克风2麦克风3)(1tx)(2tx)(3tx11a12a13a21a22a)(1ts)(2ts)(3ts23a31a32a33aija的设计，声音识别，可以识别微弱声音信号。归结为盲信号处理导论（3）数字通信系统：M1M0均衡器，滤波器。YYYYYYY符合盲信号处理对多通道的要求，不需要有干扰信号的训练样本。盲信号处理导论（4）图像处理：建立一系列具有独立特征的组合，去掉高阶关联性。降噪，识别，压缩。独立分量分析概述（一）前提：一般假设S中各分量相互独立；零均值，且方差为1。以多导信号处理为基础，即：必须借助于一组把信源按不同比例组合起来的多通道信号同步观察。多导信号包括：主分量分析（PCA）；奇异值分解（SVD）。SXH独立分量分析概述（二）多导信号处理基础对于M通道的观察值（每通道N点采样数据）组成数据阵XNMNNMMNMVUX其中，UV是正交归一阵，,MTTIUUUUNTTIVVVVNM是准对角阵，N不失一般性；通常设,0...21Mi为奇异值。MM21独立分量分析概述0...000...00..................2121112112111211mMMMMMMNMMNuuuuuuxxxxxxMNmmmmmNMMMMMvvvvvvuuuuuu............21111211112111211MMMNmMNMNMMmmMMMMNmNNMmmuvuvuvuvuvuvuvuvuvuvuvuv..................222111122121111112221111111221211111NNNNNvvvvvv......2111211独立分量分析概述列向量u反应在不同通道的分量，空间模式；列向量v反应在不同时刻的贡献，时间模式。在均值为0时，其协方差阵可表示为：TTTTxUUUVVUXXC],...,[],...,[2122221mMTDiagDiag2mmxC为特征值，是对的主分量分解。分解出的分量是按能量大小排序的。0...21M主分量分解:TTVXUPTPP是按能量大小进行排序，反映信号主要分量。独立分量分析概述ICA的简单思路ICA的任务明确为：在S，A均未知的情况下，求B，使Y=BX是S的最优逼迫。基本原则:(1)非线性去相关。求B，使任意两输出yi,yj(i≠j)不相关;且经非线性变换g(yi),h(yi)也不相关（高阶统计量）。(2)使输出尽可能非高斯化。Y的非高斯性的每个局部极大值都给了一个独立分量。SX=ASY=BX混合矩阵解混矩阵AB独立分量分析概述对X求协方差阵（假设各导记录的均值皆为0），则有：为特征值，上式是对Cx的主分量分解。分解出的分量按能量大小排序。如果原始数据的秩小于M，则某些奇异值，特征值将等于0。SVD，PCA分解,保证分解出来的各分量不相关，不能保证分量相互独立。ICA最早是针对“鸡尾酒会问题”，从酒会嘈杂人声中提取所关心对象的语音，针对CDMA把各用户码分解开来。TTTTTxUUUVVUXXC],...,[],...,[2122221MMTDiagDiag2mm0...21M独立分量分析概述（三）ICA最简单框图说明ICA任务：S，A均未知，求B，使Y=BX是S的最优逼迫。分解基本原则：（1）非线性去相关。求B，使任意两输出yi,yj(i≠j)不相关；且经非线性变换g(yi),h(yj)也不相关（高阶统计量）。（2）使输出尽可能非高斯化,Y方差恒定，Y的非高斯性的每一个局部极大值给出了一个独立分量。。iiixbySY=BX混合矩阵解混矩阵X=ASBA独立分量分析概述主要研究结构:(1)美国加州大学生物系，计算神经生物实验室，提出信息极大化(infomax)。(2)日本Riken的数量神经科学实验室，互信息极小化（minimizationofmutualinformationMMI)采用人工神经网络优化。独立分量分析概述（3）芬兰赫尔辛基工业大学神经网络研究中心~oja高阶统计量引入PCA，提出了立足于逐次提取独立分量的固定点算法（fixedpointalgorithm)。fastICA:使提取信号非高斯性极大化。计算量小，收敛速度快。（4）法国学者：J.F.Cardoso~cardoso.JADE算法批数据处理算法近年来引人注意的稀疏分量分析。优化判据优化算法应用基本概念（与ICA相关）（一）n阶矩：一阶均值三阶偏斜度二阶均方四阶峰度统计估计时，偏斜度，峰度是对标准化了的数据x(均值为0，方差为1）进行的。（二）n阶累计量：)(nnxEm0)(snndssd][)(nnxEdxxpxdxexpssx)()(][sxeEnsnnnmsdssdk)(1)(0)(log)(ss)(log!)(0sknssnnn11mk2122mmk31123323mmmmk4121213224461243mmmmmmmk第二特征函数特征函数均值方差Taylor展开（moment）（cumulant）基本概念（与ICA相关）说明：(1)对单变量高斯型信号，二阶以上的矩和累计量或为0，或可由一，二阶推导，是冗余的，因此，高斯型随机变量可由一，二阶统计特征来完整描述。(2)当pdf关于原点偶对称，m3=k3=0。(3)k40超高斯,k40亚高斯,k4常用于对非高斯，但对称的pdf分类。用︱k4︱大小作为衡量信号距离高斯型程度的度量。基本概念（与ICA相关）（三）联合矩，联合累计量性质：（1）当x各分量相互独立，互累计量必为0。（2）比例性：cum(w1x1,w2x2,w3x3,w4x4)=w1w2w3w4cum(x1,x2,x3,x4)联合矩：MMnnnnMnnMnnnssss...0321212121!!...!...)(0...21...,212121,...,)(MMMsssnMnnnnnnssssM基本概念（与ICA相关）（四）熵：反映平均信息量。（1）当随机变量取值一定范围时，其取值作均匀分布将具有最大熵值。（2）当随机变量的功率一定时，高斯分布具有最大熵值（五）KL散度:描述的是两个概率密度函数间相似程度（kullback-leibler散度）单变量：多变量：KL≥0；p(x)=q(x),KL=0.反映了p(x),q(x)在某种意义下的距离。KL[p,q]≠KL[q,p]与距离对称性不同，不宜称为距离。重要应用：用来度量任意多变量概率密度函数中各分量相互独立程度。kiiippH1logdxxqxpxpxqxpKL)()(log)()](),([dXXqXpXpXqXpKL)()(log)()](),([dxxpxpH)(log)(X代表矩阵干扰最佳形式基本概念（与ICA相关）（六）互信息：定义当p(X)为多变量[x1,x2,…xN]的联合pdf，p(xi)为各分量边际pdf.称为互信息I（mutualinformation).性质：（1）I(x)≥0，I(x)=0，x中各分量相互独立。可作为独立程度度量。（2）与信息熵的关系：各分量信息熵的总和—联合熵（3）反映了每个分量携带另一分量信息的含量。NiixHxHxI1)()()()()(1NiixpXpdxxpxpxpxpxpKLxINiiNii11)()(log)()](),([)(def基本概念（与ICA相关）（七）负熵：任意pdfp(x)和具有相同协方差阵的高斯分布pG(x)的KL散度，作为该pdf非高斯程度的度量。负熵（negentropy)单变量：多变量：性质：（1）J[p(x)]≥0，p(x)=pG(x)：当且仅当J[p(x)]=0代表高斯分布。（2）Cx是行列式互信息与负熵的关系。dxxpxpxpxpxpKLxpJGG])()(log[)()](),([)]([)()(xHxHGXxxNiiiNiiCCxJxJxI11log21)()()(ICA的优化判据解混系统B球化W正交系统UZ(t)混合系统Ax(t)y(t)s(t)系统简图一、概述独立分量分析的实质是优化，即在某一衡量独立性判据最有意义下寻求近似解。解是近似解，且排列次序上，幅度上允许不同ICA的优化判据步骤：两步法解混（1）球化：确定线性变换W使z(t)的各分量zi(t)的方差为1，且不相关（未必相互独立）ICA的优化判据（2）正交变换：yi的方差保持为1，且尽可能相互独立第一步已经满足独立性对二阶统计量的要求，因此第二步只考虑三阶以上的统计量1()()[]MTiyMippyEyCyyIICA：各分量在方差相等的情况下尽可能独立，“对任意多变量数据寻求某种非正交坐标系的分解”PCA：按能量大小排序进行分解，分解出的分量相互正交ICA的优化判据ICA的优化判据ICA最优判据最优算法独立性判据统计学意义：联合pdf是否可以表示称各边际pdf的乘积？1()()Miippyy？ICA的优化判据∴最直接的判据：互信息I(y)