# 信息熵

> 香农公式：H = -Σ p(x) log p(x)不确定性：熵越高，不确定性越大。

- ID: m07564
- 分类: technical
- 领域: 科研方法

## 定义

香农公式：H = -Σ p(x) log p(x)不确定性：熵越高，不确定性越大。信息量：消除不确定性所需的信息量。脚手架作用：量化"惊讶程度"。高概率事件信息量低（"太阳从东方升起"），低概率事件信息量高（"太阳从西方升起"）。（信息熵分析法、信息熵发散、信息熵减度、信息熵减模型、信息熵缩减法、信息熵增法、信息熵增验证、信息熵增阻断、信息熵值压缩、信息熵自测法 为相关应用）

## 机制

香农定义熵 H = -Σ p(x) log p(x)，衡量随机变量的平均不确定性。分布越均匀（每个结果概率相近），熵越高、越不确定；越集中（某结果概率高），熵越低。消除这一不确定性所需的最小平均信息量即等于熵。通常以比特（bit，log以2为底）为单位。

## 练习

1）列出事件可能取值与概率；2）代入香农公式计算熵；3）用熵比较不同信源/特征的不确定性；4）在编码中用熵定下界（香农熵=最优平均码长下界）；5）高熵数据更"惊喜"、更难压缩。

## 脚手架用法

量化"惊讶程度"。高概率事件信息量低（"太阳从东方升起"），低概率事件信息量高（"太阳从西方升起"）。（信息熵分析法、信息熵发散、信息熵减度、信息熵减模型、信息熵缩减法、信息熵增法、信息熵增验证、信息熵增阻断、信息熵值压缩、信息熵自测法 为相关应用）

[阅读网页](https://thinkingmodels.site/entries/detail/m07564)