商洛市网站建设_网站建设公司_支付系统_seo优化

自动微分与其他神经网络架构介绍

1. 反向模式自动微分

反向模式自动微分是一种强大且准确的技术，特别适用于输入多而输出少的情况。它只需对计算图进行两次遍历，就能计算出所有输出相对于所有输入的偏导数。

1.1 工作原理

反向模式自动微分的工作分为两个阶段：
1.前向传播：从输入到输出遍历计算图，计算每个节点的值。
2.反向传播：从输出到输入遍历计算图，计算所有偏导数。

1.2 计算示例

假设我们有一个函数 (f(x, y))，其计算图由多个节点组成，节点标记为 (n1) 到 (n7)。已知 (x = 3)，(y = 4)，输出节点 (n7 = f(3, 4) = 42)。
- 因为 (n7) 是输出节点，所以 (\frac{\partial f}{\partial n7} = 1)。
- 对于节点 (n5)，(\frac{\partial f}{\partial n5} = \frac{\partial f}{\partial n7} \times \frac{\partial n7}{\partial n5})。由于 (n7 = n5 + n6)，所以 (\frac{\partial n7}{\partial n5} = 1)，则 (\frac{\partial f}{\partial n5} = 1 \times 1 = 1)。
- 对于节点 (n4)，(\frac{\partial f}{\partial n4} = \frac{\partial f}{\partial n5} \times \f