# ID3算法

> 由Ross Quinlan于1986年提出的决策树学习算法：核心概念：- 信息熵 (Entropy)：衡量数据集的不确定性- 信息增益 (Information Gain)：选择属性后不确定性的减少量算法步骤：1. 计算当前数据集的熵2. 对每个属性计算信息增益3. 选择信息增益最大的属性作为分裂节点4. 递归构建子树

- ID: m06665
- 分类: decide
- 领域: 决策科学

## 定义

由Ross Quinlan于1986年提出的决策树学习算法：核心概念：- 信息熵 (Entropy)：衡量数据集的不确定性- 信息增益 (Information Gain)：选择属性后不确定性的减少量算法步骤：1. 计算当前数据集的熵2. 对每个属性计算信息增益3. 选择信息增益最大的属性作为分裂节点4. 递归构建子树脚手架作用：贪婪选择，快速构建。ID3通过信息增益准则贪婪地选择最佳分裂属性，快速构建决策树。虽然可能不是全局最优，但计算效率高，是C4.5

## 机制

由 Ross Quinlan 于 1986 年提出的决策树算法。用信息熵度量数据集不确定性，以**信息增益**（分裂后不确定性减少量）为准则**贪婪**地选最佳分裂属性，递归建树。机制是"局部最优逐层逼近"，计算高效，虽非全局最优但是 C4.5 等的基础。

## 练习

1. 计算当前数据集熵； 2. 对每个属性算信息增益； 3. 选增益最大的属性作分裂节点； 4. 递归构建子树直至纯或达停止条件。

## 脚手架用法

贪婪选择，快速构建。ID3通过信息增益准则贪婪地选择最佳分裂属性，快速构建决策树。虽然可能不是全局最优，但计算效率高，是C4.5

[阅读网页](https://thinkingmodels.site/entries/detail/m06665)