# 马尔可夫链

> 马尔可夫链（英语：Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain，缩写为DTMC），因俄国数学家安德烈·马尔可夫得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。

- ID: m06017
- 分类: decide
- 领域: 决策科学

## 定义

一个随机过程，其未来的状态仅取决于当前状态，而与过去的历史无关（无记忆性）。脚手架作用： 切断沉没成本的数学模型。在决策时，让自己成为一个“马尔可夫链”：不仅是忽略沉没成本，更是彻底遗忘路径。无论过去发生了什么，只基于“当前状态”做最优决策。

## 机制

马尔可夫链是状态随时间转移的随机过程，满足“无记忆性”：下一步状态只取决于当前状态，与更早历史无关。其长期行为由转移矩阵决定，可达平稳分布。

## 练习

定义离散状态与转移概率矩阵；迭代乘转移矩阵观察分布演化；检查是否满足不可约、非周期以收敛到平稳分布。

## 脚手架用法

切断沉没成本的数学模型。在决策时，让自己成为一个“马尔可夫链”：不仅是忽略沉没成本，更是彻底遗忘路径。无论过去发生了什么，只基于“当前状态”做最优决策。

[阅读网页](https://thinkingmodels.site/entries/detail/m06017)