登录社区云，与社区用户共同成长
邀请您加入社区
虽然 Keras API 的 `fit` 方法适用于大多数情况，但对于需要更精细控制训练循环的研究人员和工程师，TensorFlow 提供了自定义训练的能力。使用 `GradientTape` 上下文管理器可以记录前向传播过程中的操作，并自动计算损失函数相对于模型可训练变量的梯度。结合优化器，您可以实现完全自定义的训练步骤。这在实现复杂的损失函数或研究新的优化算法时必不可少。
自动微分的能力不仅限于一阶导数。通过在`GradientTape`上下文内嵌套另一个`GradientTape`，可以实现高阶导数的计算，这在某些优化算法或元学习中非常有用。此外，TensorFlow允许开发者为自定义操作定义梯度函数，这通过`@tf.custom_gradient`装饰器实现。当标准的自动微分规则不适用，或者用户希望实现更高效、更稳定的梯度计算时，自定义梯度功能显得尤为重要。
