三、矩阵运算

1. 给定两个矩阵 ，定义：

   • 阿达马积Hadamard product（又称作逐元素积）：

     

   • 克罗内积Kronnecker product：

     

2. 设 为 阶向量， 为 阶方阵，则有：

   

   

   

   

   

   

   

   

   

3. 如果 是一元函数，则：

   • 其逐元向量函数为： 。

   • 其逐矩阵函数为：

     

   • 其逐元导数分别为：

     

4. 各种类型的偏导数：

   • 标量对标量的偏导数： 。

   • 标量对向量（ 维向量）的偏导数 ： 。

   • 标量对矩阵( 阶矩阵)的偏导数：

     

   • 向量（ 维向量）对标量的偏导数： 。

   • 向量（ 维向量）对向量 ( 维向量) 的偏导数（雅可比矩阵，行优先）

     

     如果为列优先，则为上面矩阵的转置。

   • 矩阵( 阶矩阵)对标量的偏导数

   

5. 对于矩阵的迹，有下列偏导数成立：

   

   

   

   

   

   

   

   

   

6. 假设 是关于 的矩阵值函数（），且 是关于 的实值函数（），则下面链式法则成立：