MENTAL MODEL · M8299
变压器模型
Transformer Model
更新于 2026-08-11
CORE DEFINITION · 核心定义
基于自注意力机制的神经网络架构，能够捕捉序列中任意位置之间的依赖关系，是GPT、BERT等的基础。
SCAFFOLDING EFFECT · 脚手架效应
psychology
降低认知负荷
长程依赖建模。革新了序列处理任务的技术范式。
anchor
锚定快速决策
用自注意力（self-attention）计算序列中任意两位置的关联权重，摒弃 RNN 的递推，实现并行与长程依赖建模。多头注意力叠加前馈网络与位置编码，使每个词直接"看到"上下文所有词。
MINIMUM ACTION · 最小行动
进行中 0/5在一个真实场景中练习这个模型：
勾选记录你的进度（本机暂存）
掌握进度0%
account_tree知识谱系 Genealogyexpand_more
menu_book信源参考 Sourcesexpand_more
来源明确性: 明确
- en.wikipedia.orghttps://en.wikipedia.org/wiki/Transformer_(deep_learningverified
PRIVATE NOTES · 仅自己可见
已保存问答
ENTRY Q&A · 可保存至我的笔记
在清晰边界内提问
thinkingmodels 仅基于已发布的条目上下文回答。
你的问题会发送给 thinkingmodels；回答仅使用公开词条上下文。
RELATED MODELS · 相关模型