MENTAL MODEL · M5939
学习率衰减
Learning Rate Decay
更新于 2026-08-09
CORE DEFINITION · 核心定义
在训练初期使用较大的学习率（步子迈大点）以快速接近最优解；在后期减小学习率（步子迈小点），以便在最优解附近进行精细调整，防止震荡。
SCAFFOLDING EFFECT · 脚手架效应
psychology
降低认知负荷
成长的节奏控制。在进入新领域初期，要“大开大合”，容忍粗糙，追求速度；在成为专家后，要“精雕细琢”，追求精度，容忍缓慢。如果初期太抠细节，或者后期太冒进，都无法达到最优。
anchor
锚定快速决策
训练初期用大学习率快速逼近最优区，后期减小学习率精细收敛，防在最优附近震荡。类比：早期大开大合求速度，后期精雕细琢求精度。
MINIMUM ACTION · 最小行动
进行中 0/1在一个真实场景中练习这个模型：
勾选记录你的进度（本机暂存）
掌握进度0%
account_tree知识谱系 Genealogyexpand_more
menu_book信源参考 Sourcesexpand_more
来源明确性: 明确
- en.wikipedia.orghttps://en.wikipedia.org/wiki/Learning_rateverified
PRIVATE NOTES · 仅自己可见
已保存问答
ENTRY Q&A · 可保存至我的笔记
在清晰边界内提问
thinkingmodels 仅基于已发布的条目上下文回答。
你的问题会发送给 thinkingmodels；回答仅使用公开词条上下文。
RELATED MODELS · 相关模型