# KL散度

> 用于衡量两个概率分布（如“你的信念”和“真实世界”）之间差异的指标

- ID: m02230
- 分类: learn
- 领域: 认知科学

## 定义

用于衡量两个概率分布（如“你的信念”和“真实世界”）之间差异的指标。KL散度越大，说明你的模型越偏离现实，你需要越多的“信息量”来修正它。 - 脚手架作用： 认知惊讶的度量衡。 - 学习的本质就是最小化KL散度。当你遇到一件让你感到“极其惊讶”的事时（KL散度飙升），这正是你认知升级的最佳时刻。不要忽略惊讶，惊讶意味着你的内部模型与外部世界严重不符，那是修正认知的黄金机会。

## 机制

衡量两个概率分布差异的指标（相对熵）。KL 散度越大，模型越偏离真实，需越多信息修正。机制可引申为**认知惊讶的度量**——学习的本质即最小化 KL 散度；遇到极惊讶之事（KL 飙升），说明内部模型与外界严重不符，正是修正认知的黄金机会。

## 练习

1. 建立对事件的内部概率分布（信念）； 2. 观测真实分布； 3. 算 KL 散度衡量偏差； 4. 据偏差（惊讶度）更新模型、修正认知。

## 脚手架用法

认知惊讶的度量衡。 - 学习的本质就是最小化KL散度。当你遇到一件让你感到“极其惊讶”的事时（KL散度飙升），这正是你认知升级的最佳时刻。不要忽略惊讶，惊讶意味着你的内部模型与外部世界严重不符，那是修正认知的黄金机会。

[阅读网页](https://thinkingmodels.site/entries/detail/m02230)