MENTAL MODEL · M6033
注意力机制
Attention Mechanism
Version 1.0.0 · 更新于 2026-07-28
CORE DEFINITION · 核心定义
模型在处理信息时，不是平等地看待所有输入，而是动态地给不同部分分配不同的权重（关注度）。这使得模型能从长距离的上下文中捕捉关键依赖。
SCAFFOLDING EFFECT · 脚手架效应
psychology
降低认知负荷
加权处理。真正的高手不是“记忆力好”（记住所有信息），而是“注意力机制好”（知道该忽略什么，该聚焦什么）。在信息洪流中，分配权重比获取信息更重要。
anchor
锚定快速决策
注意力机制通过计算查询(Query)、键(Key)、值(Value)之间的相似度，为输入序列中每个元素动态分配权重，使模型聚焦于与当前任务最相关的部分。自注意力中每个位置都能直接与其他所有位置交互，从而捕捉长距离依赖，突破了RNN逐序处理的瓶颈。
MINIMUM ACTION · 最小行动
进行中 0/4在一个真实场景中练习这个模型：
勾选记录你的进度（本机暂存）
掌握进度0%
account_tree知识谱系 Genealogyexpand_more
menu_book信源参考 Sourcesexpand_more
来源明确性: 明确
- zh.wikipedia.orghttps://zh.wikipedia.org/wiki/%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6verified
PRIVATE NOTES · 仅自己可见
已保存问答
ENTRY Q&A · 可保存至我的笔记
在清晰边界内提问
thinkingmodels 仅基于已发布的条目上下文回答。
你的问题会发送给 thinkingmodels；回答仅使用公开词条上下文。
RELATED MODELS · 相关模型