# 自注意力机制

> 模型在处理序列数据时，能够计算序列中每个元素与其他所有元素的相关性（权重），从而捕捉长距离依赖关系，理解上下文

- ID: m00090
- 分类: technical
- 领域: 人工智能

## 定义

模型在处理序列数据时，能够计算序列中每个元素与其他所有元素的相关性（权重），从而捕捉长距离依赖关系，理解上下文。脚手架作用：信息加权隐喻。在阅读或分析复杂局势时，不要平均用力。要动态计算当前信息与“全局上下文”的关联度，把注意力聚焦在关键线索上。

## 机制

序列中每个位置通过与其他位置计算相关性权重，动态聚集全局信息，捕捉长程依赖，是 Transformer 的核心。

## 练习

1）构造 Q/K/V 矩阵；2）计算注意力分数并 softmax；3）加权求和得上下文表示；4）多头并行捕捉不同子空间关系。

## 脚手架用法

信息加权隐喻。在阅读或分析复杂局势时，不要平均用力。要动态计算当前信息与“全局上下文”的关联度，把注意力聚焦在关键线索上。

[阅读网页](https://thinkingmodels.site/entries/detail/m00090)