李群与机器学习

李群在机器学习中的应用李群是群的一部分，并且因为有拓扑结构，有限群的结果可以扩展到紧李群。李群在单位元处的切空间定义了李代数，李代数也是研究非交换代数，非交换几何的重要手段之一（李代数研究的就是交换子，交换子不为零等价于非交换）。因此李理论在表示论中，以及在整个数学中，也很重要。李群既是一个群，又是一个微分流形，能够在群操作下保持光滑结构．近年来，李群不再局限于数学领域的理论研究，这类连续变换群也被许多计算机领域的学者所熟知。1.李群在计算机视觉与机器学习中的应用1999年RajeshP.N.Rao和DanielL.Ruderman提出了基于李群理论的一个贝叶斯方法来学习不变的视觉感知，运用基于指数矩阵的图像生成模型，从包含极小变换的输入数据得到一个学习李群算子的非监督学习算法。VenuMadhavGovindu使用运动表示的内在李群结构来求平均，用特殊正交群SO(3)和特殊欧几里德群SE(3)的李代数来定义李群上的平均值，提出了全局相容运动估计的李代数求均值法。此方法能够线性计算所有可能的相对运动以及对运动估计快速求平均。DavidMcG.Squire提出了一种新的二维轮廓的不变特征：不变信号。它是对在从李变换群中得到的许多变换下的轮廓不变程度的度量。其中李群理论提供了在一个变换动作下，点位置的局部变换和此变换的全局描述的一种联系，并提供了自然的起始点，说明了不变信号在转移、旋转和轮廓缩放后本身保持不变。目标识别要求寻找那些在特征空间中是唯一的、健壮的和稳定的特性。D.GregoryArnold提出用李群分析来寻找这些特性并基于李群理论提出了支配子空间不变量的概念和拟不变量的一种特殊类型并给出了支配子空间不变量(DSI)算法。机器学习是人工智能和计算机科学研究的一个永恒的课题。目前比较公认的关于机器学习概念的说法是Simon对学习的阐述：“如果一个系统能够通过某个过程而改进它的性能，这就是学习。”这个说法的要点是：其一，学习是一个过程；其二，学习是对一个系统而言的；其三，学习能够改变系统性能。即“过程”、“系统”与“改变性能”是学习的三个要点。由此可知，李群的定义和机器学习的定义有着对应的关系，即李群本身就是一个非空的集合且是一个系统，学习过程对应一个可微映射，然后通过解析性质来降低数据维数、处理学习问题，从而达到改变系统性能的目的。2.相关概念介绍定义1.微分流形的定义微分流形（differentiablemanifold），也称为光滑流形（smoothmanifold），是拓扑学和几何学中一类重要的空间，是带有微分结构的拓扑流形。微分流形是微分几何与微分拓扑的主要研究对象，是三维欧式空间中曲线和曲面概念的推广，可以有更高的维数，而不必有距离和度量的概念。具体说来,设M是一个豪斯多夫拓扑空间。U是M的开集,h是U到n维欧氏空间R的开集(常取为单位球内部或立方体内部等等)上的一个同胚映射,则(U，h)称为一个坐标图,U称为其中点的一个坐标邻域。设M为开集系{U}所覆盖,则(U,h)的集合称为M的一个坐标图册。如果M的坐标图册中任何两个坐标图都是C相关的,则称M有C微分结构,又称M为n维的C微分流形。定义2.李群的定义设Ｇ是一个非空集合，满足：（１）Ｇ是一个群；（２）Ｇ也是一个微分流形；（３）群的运算是可微的，即由G×G到G的映射12121,gggg是可微的映射。则称Ｇ是一个李群（Liegroup）李群机器学习与传统机器学习方法的不同是李群机器学习采用李群结构对数据或特征进行表示并利用群作用来处理对数据的操作．微分流形的几何性质可以用来便捷地描述数据，群的代数性质能够提供具体的求解方案，这使得李群机器学习的思想得以形成．定义3.李群机器学习。一般用G表示输入空间，M表示输出空间。令dDRMRGdD,,,借用李群的定义将G对M的左作用可用如下映射表示：MMG:满足：（１）对于所有的xxeMx,,；（２）对于所有的xghxhgMxGhg,,,,,和。G对M的右作用可用如下映射表示：MMG:满足：（１）对于所有的xxeMx,,；（２）对于所有的ghxhgxMxGhg,,,,,和。3.李群机器学习模型3.1基于李群的表示李群机器学习利用机器学习方法处理具有李群结构的数据．然而，并不是所有特征都自然地具备李群结构．若要应用基于李群的机器学习方法，首先要做的是构造有效的李群特征。在静态场景中可以利用目标对象到标准模板的变换矩阵，构造李群特征。针对停车场俯视照片中的车辆构建利用旋转角度和缩放比例作为参数的辐条模型，通过建立每个车辆实例到基准车辆的变换构造李群特征并将该变换特征应用在车辆分类问题中。协方差矩阵作为一种正定对称矩阵，能够满足矩阵群的要求，因此是构建李群的另一种方式．这种特征不仅维数低、可融合多种相关特征而且具有一定程度的旋转和比例不变性。3.2李群机器学习的相关算法流形上两点之间具有最短距离的曲线叫做测地线，它定义了流形上的度量。面给出相应的等距变换算法和测地线距离算法的相关介绍。算法1.李群机器学习的等距变换算法（IsometricTransformationAlgorithm，IsoT）.输入：样本集DmRxxxX,,,21输出：DdRyyyYdm,,,,211.令输入样本集为DmRxxxX,,,21,X满足李群结构。2.在X的李代数g上取定一个在自同构GAd的作用下的不变内积：GggxxxxxgAdxgAd,,,,,212121。3.取定一组标准基ijjiixxnix,,1:。用左平移把nixi1:分别张成X上左不变向量场，记为ix即建立起黎曼空间结构。4.在这个黎曼空间上，对X进行左（或右）平移线性变换，即构成了对样本集的等距映射DdRyyyYYXdm,,,,,:21.算法2.李群机器学习的测地线距离算法（GeometricDistanceAlgorithm，GeoD）.输入：样本点a输出：在a的坐标邻域内的所有点与a的距离1.生成样本点a的邻域aU2.分析a邻域内信息，在样本集中的单位点上取一个自同构作用下不变的内积agji,，计算agji,的值。3.将所得agji,的值，代入jjiinjijibabaagbaD1,,,中，计算aU中每一个点与a之间的距离。4.输出所有距离值（通常距离值越小表示与要学习的目标结果越相近）。在上面的算法中，MTa表示M在点a处的切空间。如果DRUx:是点a处的坐标系，ix是点a处关于ix的方向向量，那么nxxx,,,21就是切空间MTa的坐标基。定义内积jijixxag,,为U上的一个可微函数，那么切空间上a点与b点之间的距离为jjiinjijibabaagbaD1,,,。实际上，算法2给出了一种通用的计算测地线距离的方法，而在实际应用中，更为常见的计算李群中任意两个元素1x，2x之间的距离可以用下面的公式，其中表示Frobenius范数21121log,xxxxd设A为m×n的矩阵，那么A的Frobenius范数的表示方法为：minjijFaA112对于矩阵李群来说，上式内的部分可以用Baker-Campbell-Hausdorff（BCH）展开公式中的前两项之和21loglogxx近似得到。3.3李群机器学习的线性分类器的构造一般来说，线性分类器的构造可分如下步骤:第一步：将样本集映射到G这个非空集合上；第二步：根据G构造相应的李群结构；第三步：将所得的李群作用于所建立的李群机器学习模型中；第四步：形成相应的分类器；第五步：实例测试；第六步：应用。3.4李群在深度学习中的展望由于在现实生活中人们越来越经常地面临着大数据，这为数据的表示、提取以及运算都带来了挑战。近年来，由表示学习引发的深度学习正逐步兴起，并由此激发了对李群机器学习的进一步思考。目前，已有越来越多的算法致力于研究数据的流形表示问题。在这其中，有利用深度学习模型CAE（ContractiveAuto-Encoders）训练图像，并将得到的表示关于输入分量的雅克比矩阵进行奇异值分解，以此提取流形局部的切方向．文中指出流形上某点处的切空间能够捕获数据集局部的有效变换，包括微小的平移与旋转，样本的类别属性应当不受这些变换的影响．基于这样的思想，作者设计了一种流形切空间分类器MTC（ManifoldTangentClassifier）．在实验部分，作者将MTC应用于手写体数字识别中．在不使用任何先验领域知识的前提下，分类性能在MNIST数据集上取得了目前为止最好的结果。