MENTAL MODEL · M5941
知识蒸馏
Knowledge Distillation
更新于 2026-08-05
CORE DEFINITION · 核心定义
让一个庞大、复杂的“教师模型”去教一个微小、紧凑的“学生模型”。学生不学习原始数据，而是学习教师的输出（软标签）。结果是学生能以极小的体积，达到接近教师的性能。
SCAFFOLDING EFFECT · 脚手架效应
psychology
降低认知负荷
智慧的压缩与传承。这不仅仅是教学，更是“降维”。大师的作用不在于教你所有细节，而在于把他在海量数据中提炼出的“直觉”（软标签）传授给你，让你用更少的脑容量掌握核心智慧。
anchor
锚定快速决策
教师模型输出含类别间相对关系的“软标签”（如“猫 0.7 / 狗 0.2”），比硬标签信息更丰富；学生通过模仿软标签，继承教师的“暗知识/直觉”，以更小参数量逼近性能。
MINIMUM ACTION · 最小行动
进行中 0/3在一个真实场景中练习这个模型：
勾选记录你的进度（本机暂存）
掌握进度0%
account_tree知识谱系 Genealogyexpand_more
menu_book信源参考 Sourcesexpand_more
来源明确性: 明确
- zh.wikipedia.orghttps://zh.wikipedia.org/wiki/%E7%9F%A5%E8%AD%98%E8%92%B8%E9%A4%BEverified
PRIVATE NOTES · 仅自己可见
已保存问答
ENTRY Q&A · 可保存至我的笔记
在清晰边界内提问
thinkingmodels 仅基于已发布的条目上下文回答。
你的问题会发送给 thinkingmodels；回答仅使用公开词条上下文。
RELATED MODELS · 相关模型