# 注意力机制

> 注意力机制（英语：attention）是人工神经网络中一种模仿认知注意力的技术。这种机制可以增强神经网络输入数据中某些部分的权重，同时减弱其他部分的权重，以此将网络的关注点聚焦于数据中最重要的一小部分。数据中哪些部分比其他部分更重要取决于上下文。可以通过梯度下降法对注意力机制进行训练。

- ID: m06033
- 分类: learn
- 领域: 学习科学

## 定义

模型在处理信息时，不是平等地看待所有输入，而是动态地给不同部分分配不同的权重（关注度）。这使得模型能从长距离的上下文中捕捉关键依赖。脚手架作用： 加权处理。真正的高手不是“记忆力好”（记住所有信息），而是“注意力机制好”（知道该忽略什么，该聚焦什么）。在信息洪流中，分配权重比获取信息更重要。

## 机制

注意力机制通过计算查询(Query)、键(Key)、值(Value)之间的相似度，为输入序列中每个元素动态分配权重，使模型聚焦于与当前任务最相关的部分。自注意力中每个位置都能直接与其他所有位置交互，从而捕捉长距离依赖，突破了RNN逐序处理的瓶颈。

## 练习

将输入映射为Q、K、V三组向量；计算Q与K的点积并除以维度的平方根以稳定梯度；用Softmax将得分归一化为注意力权重；用权重对V加权求和得到输出。多头注意力则并行运行多组注意力并拼接结果。

## 脚手架用法

加权处理。真正的高手不是“记忆力好”（记住所有信息），而是“注意力机制好”（知道该忽略什么，该聚焦什么）。在信息洪流中，分配权重比获取信息更重要。

[阅读网页](https://thinkingmodels.site/entries/detail/m06033)