向量、矩阵偏导数(机器学习、深度学习基础)

矩阵的导数运算1.矩阵Y=F(x)对标量x求导相当于每个元素求导数111122212212()()()()()()()()()nnmmmndfxdfxdfxdxdxdxdfxdfxdfxddxdxdxdxdfxdfxdfxdxdxdxY2.标量y对列向量x求导注意与上面不同，这次括号内是求偏导，对m×1向量求导后还是m×1向量12()mfxfdyxyfdfxxx3.行向量yT对列向量x求导注意1×n向量对m×1向量求导后是m×n矩阵。将y的每一列对x求偏导，将各列构成一个矩阵。121111222212()()()()()()()()()nnTnmmmfxfxfxxxxfxfxfxdxxxdfxfxfxxxxyx重要结论：()TTTddddxIxAxAx4.列向量y对行向量xT求导转化为行向量yT对列向量x的导数，然后转置。注意m×1向量对1×n向量求导结果为m×n矩阵。121111222212()()()()()()()()()TmTmTTmnnnfxfxfxxxxfxfxfxddxxxddfxfxfxxxxyyxx重要结论：()TTddddxIxAxAx5.向量积对列向量x求导运算法则注意与标量求导有点不同。()()()TTTdddddduvuvvuxxx重要结论：()()()2()()()()TTTTTTTTddddddddddddxxxxxxxxxxxAxxxAAxxAAxxxx6.矩阵Y对列向量x求导将Y对x的每一个分量求偏导，构成一个超向量。注意该向量的每一个元素都是一个矩阵。12()mxdxdxFFYYFxxF7.标量y对矩阵X的导数类似标量y对列向量x的导数，把y对每个X的元素求偏导，不用转置。111212122212nnmmmnfffxxxfffdyxxxdfffxxxX重要结论：()()2[()()]2()TTTTTTTdddddduXvuvXuXXuXuuXXuvXuvXuvuX8.矩阵Y对矩阵X的导数将Y的每个元素对X求导，然后排在一起形成超级矩阵。