L1神经网络与深度学习-2.7&2.8计算图

mcqly

367人浏览 · 2025-10-16 15:13:52

mcqly · 2025-10-16 15:13:52 发布

什么是计算图？

例如，需要计算：

$J(a,b,c )=3(a+bc)$

那么把计算的顺序用流程图表示

第一步要计算 $u=bc$ ,然后要计算 $v=a+u$ ,最后计算 $J=3v$

用流程图表示计算的步骤，如下图所示

要计算J，我们需要从左往右一步步算，这又被称为正向传播，用变量去计算成本函数

反向传播求导数

要计算 $\frac{\partial J}{\partial b}$ ，需要从右往左一步一步计算

$\frac{\partial J}{\partial b}=\frac{\partial J}{\partial v}\cdot \frac{\partial v}{\partial u}\cdot \frac{\partial u}{\partial b}$
这个过程，称之为反向传播，当要研究最终输出值对某一个变量的偏导数时，按照计算图，从右往左一步步计算