(Gauss-Jordan)消元法

（Gauss-Jordan）消元法选主元的高斯-约当（Gauss-Jordan）消元法在很多地方都会用到，例如求一个矩阵的逆矩阵、解线性方程组（插一句：LM算法求解的一个步骤），等等。它的速度不是最快的，但是它非常稳定（来自网上的定义：一个计算方法，如果在使用此方法的计算过程中，舍入误差得到控制，对计算结果影响较小，称此方法为数值稳定的），同时它的求解过程也比较清晰明了，因而人们使用较多。下面我就用一个例子来告诉你Gauss-Jordan法的求解过程吧。顺便再提及一些注意事项以及扩展话题。对本文中所提到的“主元”等概念的解释，可以参考此链接。假设有如下的方程组：写成矩阵形式就是：AX=B，其中：且X=(X1,X2,X3)T。文章来源：现对矩阵A作初等变换，同时矩阵B也作同样的初等变换，则当A化为单位矩阵的时候，有：显而易见，我们得到了方程组的解X=(1,2,4)T。所以，我们要以一定的策略，对A和B施以一系列的初等变换，当A化为单位矩阵的时候，B就为方程组的解。选主元的G-J消元法通过这样的方法来进行初等变换：在每一个循环过程中，先寻找到主元，并将主元通过行变换（无需列变换）移动到矩阵的主对角线上，然后将主元所在的行内的所有元素除以主元，使得主元化为1；然后观察主元所在的列上的其他元素，将它们所在的行减去主元所在的行乘以一定的倍数，使得主元所在的列内、除主元外的其他元素化为0，这样就使得主元所在的列化为了单位矩阵的形式。这就是一个循环内做的工作。然后，在第二轮循环的过程中，不考虑上一轮计算过程中主元所在的行和列内的元素，在剩下的矩阵范围内寻找主元，然后（如果其不在主对角线上的话）将其移动到主对角线上，并再次进行列的处理，将列化为单位矩阵的形式。余下的步骤依此类推。具体的计算过程的一个例子，请看下面我举的求逆矩阵的过程。如果要解系数矩阵相同、右端向量不同的N个方程组，在设计程序的时候，没有必要”解N次方程组“，我们完全可以在程序中，将所有的右端向量以矩阵的数据结构（类似于二维数组）来表示，在系数矩阵作行变换的时候，矩阵里的每一个右端向量也做同样的变换，这样，我们在一次求解运算的过程中，实际上就是同时在解N个方程组了，这是要注意的地方。文章来源：那么，G-J法为什么可以用来求逆矩阵？假设AX=E，其中，A为n阶系数矩阵（与上面的解线性方程组对照）；E为单位矩阵，即E=(e1,e2,…,en)，其中ei(i=1,2,…,n)为单位列向量；X为n个列向量构成的矩阵，即X=(x1,x2,…,xn)，其中xi(i=1,2,…,n)为列向量。于是，可以把等式AX=E看成是求解n个线性方程组Axi=ei(i=1,2,…,n)，求出了所有的xi之后，也即得到了矩阵X。而由AX=E可知，矩阵X是A的逆矩阵，即X=A-1。这样，就求出了A的逆矩阵了。于是，求逆矩阵的过程被化成了解线性方程组的过程，因此我们可以用Gauss-Jordan消元法来求逆矩阵。求逆矩阵时，系数矩阵A和单位矩阵E可以共用一块存储区，在每一次约化过程中，系数矩阵逐渐被其逆矩阵替代。在这里，我用一个实际的例子来说明G-J法求逆矩阵的过程：有如下的方程组：显而易见，该方程组对应的系数矩阵A和右端向量矩阵B（此处只有一个右端向量）分别为：其实在求逆矩阵的过程中，矩阵B无关紧要，可以忽略，不过此处还是把它写出来了。下面，把单位矩阵E附在A的右边，构成另一个矩阵（A|E）：文章来源：下面，我们就通过矩阵的初等变换，将A化为单位矩阵E，而E则化为了A的逆矩阵。以下是转化步骤：【Step01】主元选为3，所以将Row1（第一行）与Row2（第二行）交换：【Step02】主元所在行的所有元素除以主元：【Step03】Row1–Row2，Row3–2×Row2：现在，原来的矩阵A有一列被化为了单位阵的形式。【Step04】重新选主元，这一次主元选为5/3，于是Row1÷5/3（主元所在行的所有元素除以主元）：【Step05】Row2–(1/3)×Row1，Row3–(4/3)×Row1：现在，原来的矩阵A又有一列被化为了单位阵的形式。【Step06】重新选主元，这一次主元选为-1/5，于是Row3÷(-1/5)（主元所在行的所有元素除以主元）：【Step07】Row1–(2/5)×Row3，Row2–(1/5)×Row3：现在，原来的矩阵A的所有列都被化为了单位阵的形式。可见，以上过程非常适合于计算机编程求解。文章来源：至此，我们完成了从A到E的转换，这个过程中使用了选主元的方法，但没有使用列交换。于是，原来的单位矩阵E就变成了A-1，即：有人说，在进行转化的过程中，如果某一步发现选中的主元为0，怎么办？当然，这种情况就进行不下去了（矩阵是奇异的）。