matrix-learning矩阵学习

一、高斯消元法以及homogeneoussystemGaussianeliminationandmatrices(高斯消元法及矩阵)Rowechelonandrank行阶梯阵及其秩consistenceof|bA矩阵的一致性homogeneoussystem齐次系统|0A系统为homogeneoussystem，如果有段有至少一个非零数字，即系统变成|Ab，此系统为nonhomogeneoussystem.如果mnA的秩是r，与基础列对应的ix是basicvariables，其它的是freevariablesbasicvariable有r个，freevariable有nr个基础解generalsolution是freevariables的线性组合homogeneoussystem当且仅当其秩为n时有唯一解nonhomogeneoussystem非齐次系统存在解的条件是|mnAb的秩等于A的秩，即b不是|mnAb的基础列；存在唯一解的条件是其齐次形式只有0解，没有freevariables，秩等于未知数x的个数generalsolution的表达式是齐次解加特殊解...nriiifinrfxxx线性矩阵的应用——基尔霍夫定律二、Matrixalgebra基本的algebraaddition，scalarmultiplication，transpose，conjugatetranspose（共轭转置）linearfunction满足条件fxyfxfyfxfx(1.1)的系统为线性系统。在平面几何中，线性系统指直线，在高阶系统可表示为多个变量的线性组合linearcombination121122,......nnnfxxxxxx(1.2)两个矩阵的积（product）代表了两个线性系统的composition，即两个矩阵的复合。三、两个矩阵之间的关系相似矩阵对于矩阵,AB当且仅当存在一个可逆方阵P使得1PAPB(1.3)则称A相似于B，记为性质：秩相等、行列式相等、trace相等、相同的特征值，相同个数的特征多项式、相同的初等因子等价矩阵对于矩阵,AB，当且仅当存在两个可逆方阵,PQ使得PAQB(1.4)相似矩阵一定是等价矩阵，反之不成立。等价矩阵其实就是矩阵经过初等行变换和初等列变换得到的矩阵，两者具有相同的秩合同矩阵存在可逆矩阵P使得TPAPB(1.5)四、四个特殊的向量空间五、线性相关或线性独立（linearindependenceorlineardependence）线性空间的基（basis）张成这个空间所需的最小数目的线性不相关的向量六、模、内积以及正交norm，innerproduct，orthogonality欧几里得模标准内积数据之间的相关性在一个实验结果中，两组记录的数据分别用12nxxxx12nyyyy，andlet111e假设01yex，在计算x和y的相关性之前，通常都应该讲数据标准化，即standarddeviation（标准偏差）。令xxxxez(1.6)其中x和x分别是x的均值和标准差。则1yx，1yx，其中xzn即y与xperfectlylinearlycorrelated，那么xyzzn，表示x与y之间只存在角度上的差异，因此可以用x向量与y向量之间的角度大小衡量x与y之间的差异，即相关性cosTxyxyxyzzzz(1.7)描述：当0xy时，表示x与y正交，当1xy时，表示x与y完全线性相关（perfectlylinearlycorrelated）正交集orthonormalset傅里叶的内积形式Fourierexpansion傅里叶级数可以正交集表示，其中正交集选择为1coscos2cossinsin2sinBttntttnt(1.8)Gram-Schmidtprocedure正交化过程正交集有很多优点，但是如果一个给的一个集合如果不是正交集，可以基本正交投影elementaryorthogonalprojectorTQIuu(1.9)其中I是单位向量，u是一个向量，Q是向垂直于u的平面作投影如图所示，其中u是模为1的单位向量。x在u上的投影为Tuux，u上的投影是()TTxuuxIuux补空间complementaryspace核零分解core-nilpotentdecomposition正交投影orthogonalprojectionSVD和URV分解估计器estimator（whyleastsquares）estimator应该具备两个性质：unbiasedandminimalvariance。七、特征值和特征向量eigenvalueandeigenvector几何重数geometrymultiplicity与代数重数algebraicmultiplicity可对角化diagonalizabilityandmultiplicitynormalmatrix