# 条件熵

> 在信息论中，条件熵描述了在已知第二个随机变量X的值的前提下，随机变量Y的信息熵还有多少。同其它的信息熵一样，条件熵也用Sh、nat、Hart等信息单位表示。基于X条件的Y的条件熵记作H(Y|X)，表示在已知X的条件下Y所剩下的不确定性。

- ID: m10447
- 分类: technical
- 领域: 统计学

## 定义

在已知某变量的条件下，另一变量的剩余不确定性——条件减少了多少不确定性？脚手架作用：信息的价值。一条信息的价值体现在它减少了多少不确定性。

## 机制

在已知随机变量 Y 时 X 的不确定性 H(X|Y)，衡量「Y 能消除多少关于 X 的不确定性」。

## 练习

用定义 H(X|Y)=H(X,Y)-H(Y) 计算；比较 H(X) 与其差看信息增益。

## 脚手架用法

信息的价值。一条信息的价值体现在它减少了多少不确定性。

[阅读网页](https://thinkingmodels.site/entries/detail/m10447)