MENTAL MODEL · M6285
梯度爆炸
Exploding Gradient
更新于 2026-08-09
CORE DEFINITION · 核心定义
在训练深层神经网络时，如果权重的梯度大于1，经过层层累乘，梯度会呈指数级增长，导致数值溢出，模型无法收敛（训练失败）。
SCAFFOLDING EFFECT · 脚手架效应
psychology
降低认知负荷
误差的连锁放大。在长链条的决策或传话游戏中，每个环节的微小夸张（梯度>1），传到最后会变成离谱的谣言或灾难性的误判。必须在每个节点引入“梯度裁剪”（归一化），防止信号失真。
anchor
锚定快速决策
反向传播中梯度逐层乘大于1的系数而指数放大，参数剧烈震荡甚至 NaN。链条乘积致发散。
MINIMUM ACTION · 最小行动
进行中 0/3在一个真实场景中练习这个模型：
勾选记录你的进度（本机暂存）
掌握进度0%
account_tree知识谱系 Genealogyexpand_more
menu_book信源参考 Sourcesexpand_more
来源明确性: 明确
- en.wikipedia.orghttps://en.wikipedia.org/wiki/Vanishing_gradient_problemverified
PRIVATE NOTES · 仅自己可见
已保存问答
ENTRY Q&A · 可保存至我的笔记
在清晰边界内提问
thinkingmodels 仅基于已发布的条目上下文回答。
你的问题会发送给 thinkingmodels；回答仅使用公开词条上下文。
RELATED MODELS · 相关模型