向量函数内积求导是多元微积分与线性代数交叉领域的核心问题，其推导过程涉及矩阵微分、张量运算和链式法则的深度应用。该问题不仅在理论数学中具有基础地位，更是机器学习、物理仿真和工程优化等领域的核心计算模块。内积运算的导数本质上是双线性形式的一阶逼近，其求解需综合考虑向量函数的结构特性、输入输出维度的映射关系以及求导方向的选择。与传统标量函数求导相比，向量内积的导数呈现矩阵化特征，且需区分行向量与列向量的排列形式。推导过程中需特别注意转置操作对梯度布局的影响，以及雅可比矩阵与梯度向量的等价性转换。该问题的解决为高维参数优化、神经网络反向传播和连续体力学建模提供了数学基础，其推导方法的普适性与计算效率直接影响多领域算法的实现复杂度。
1. 内积定义与基本性质
向量内积在数学上定义为$boldsymbol{x}^top boldsymbol{y} = sum_{i=1}^n x_i y_i$，其核心特性包含双线性与对称性。当$boldsymbol{x}$和$boldsymbol{y}$为向量函数时，内积结果成为二元函数$f(boldsymbol{u}, boldsymbol{v}) = boldsymbol{u}^top boldsymbol{v}$，其中$boldsymbol{u} = boldsymbol{u}(t)$和$boldsymbol{v} = boldsymbol{v}(t)$为时间$t$的向量函数。根据方向导数定义，沿$boldsymbol{u}$方向的偏导数为$frac{partial f}{partial boldsymbol{u}} = boldsymbol{v}^top$，而沿$boldsymbol{v}$方向的偏导数为$frac{partial f}{partial boldsymbol{v}} = boldsymbol{u}^top$。这种非对称性源于内积运算的线性特性，具体表现为：
| 求导方向 | 导数表达式 | 矩阵维度 |
|---|---|---|
| $frac{partial (boldsymbol{u}^top boldsymbol{v})}{partial boldsymbol{u}}$ | $boldsymbol{v}^top$ | $1 times m$ |
| $frac{partial (boldsymbol{u}^top boldsymbol{v})}{partial boldsymbol{v}}$ | $boldsymbol{u}^top$ | $1 times n$ |
2. 向量函数的矩阵表示
设$boldsymbol{f}(boldsymbol{x}):mathbb{R}^m rightarrow mathbb{R}^n$为向量值函数，其内积形式可表示为$boldsymbol{f}^top boldsymbol{g}$。将函数展开为分量形式$boldsymbol{f} = [f_1, f_2, ..., f_n]^top$，则内积导数需构造雅可比矩阵。对于$frac{partial (boldsymbol{f}^top boldsymbol{g})}{partial boldsymbol{x}}$，应用乘积法则可得：
$$ frac{partial (boldsymbol{f}^top boldsymbol{g})}{partial boldsymbol{x}} = left( frac{partial boldsymbol{f}^top}{partial boldsymbol{x}} boldsymbol{g} right) + left( boldsymbol{f}^top frac{partial boldsymbol{g}}{partial boldsymbol{x}} right) $$| 项类型 | 表达式 | 维度验证 |
|---|---|---|
| 第一项 | $boldsymbol{J}_f^top boldsymbol{g}$ | $n times m$ |
| 第二项 | $boldsymbol{f}^top boldsymbol{J}_g$ | $1 times m$ |
3. 链式法则的分层应用
当内积嵌套于复合函数时，需分层应用链式法则。例如对于三层结构$(boldsymbol{A}boldsymbol{x} + boldsymbol{b})^top (boldsymbol{C}boldsymbol{x} + boldsymbol{d})$，其导数展开遵循：
$$ frac{partial}{partial boldsymbol{x}} left[ (boldsymbol{A}boldsymbol{x} + boldsymbol{b})^top (boldsymbol{C}boldsymbol{x} + boldsymbol{d}) right] = boldsymbol{A}^top (boldsymbol{C}boldsymbol{x} + boldsymbol{d}) + (boldsymbol{A}boldsymbol{x} + boldsymbol{b})^top boldsymbol{C} $$| 计算步骤 | 中间变量 | 维度变化 |
|---|---|---|
| 外层内积展开 | $boldsymbol{u}^top boldsymbol{v}$ | $1 times 1$ |
| 第一项求导 | $boldsymbol{A}^top boldsymbol{v}$ | $m times 1$ |
| 第二项求导 | $boldsymbol{u}^top boldsymbol{C}$ | $1 times m$ |
4. 梯度向量与雅可比矩阵的等价性
标量函数的梯度本质是雅可比矩阵的转置。对于$f(boldsymbol{x}) = boldsymbol{a}^top boldsymbol{x}$，其梯度$ abla f = boldsymbol{a}$，而雅可比矩阵$J = boldsymbol{a}^top$。当扩展至向量函数内积时，梯度布局需注意：
$$abla_{boldsymbol} (boldsymboltop boldsymbol) = boldsymbol_ftop boldsymbol + boldsymbol_g^top boldsymbol
mathcal = frac{partial2 f}{partial boldsymbol2} = boldsymboltop otimes boldsymbol + boldsymboltop otimes boldsymbol
frac{partial}{partial boldsymbol} (x_12 x_3 + x_2 x_4) = [2x_1 x_3, x_3, x_12, x_2]^top
发表评论