# 自动化偏见

> 人类倾向于过度信任自动化系统（算法、仪表盘、AI）提供的建议，甚至在有明显证据表明系统出错时，依然选择相信系统而忽略自己的判断

- ID: m02311
- 分类: decide
- 领域: 决策科学

## 定义

人类倾向于过度信任自动化系统（算法、仪表盘、AI）提供的建议，甚至在有明显证据表明系统出错时，依然选择相信系统而忽略自己的判断。 - 脚手架作用： AI时代的盲从警报。 - 飞行员因为相信仪表盘而忽略窗外的山，医生因为相信AI诊断而忽略病人的症状。在AI辅助决策时代，“保持人类在回路中（Human-in-the-loop）的独立判断力”将成为一种稀缺的安全能力。永远不要把“最终确认键”交给算法。

## 机制

人对自动化建议的过度信任，即便有反证仍依从、忽略自身判断。其根源在于认知节俭（省力）与对"机器客观"的错觉，以及在多任务负荷下把注意让渡给系统。它会削弱人的独立监控意愿，形成"自动化 complacency"。

## 练习

在 AI 辅助决策中保持"人在回路"的独立判断：对系统输出设校验环节与可解释依据；培训识别误报与漏报；把最终确认权保留在人类。定期做"系统可能错"的红队演练，防止警觉钝化。

## 脚手架用法

AI时代的盲从警报。 - 飞行员因为相信仪表盘而忽略窗外的山，医生因为相信AI诊断而忽略病人的症状。在AI辅助决策时代，“保持人类在回路中（Human-in-the-loop）的独立判断力”将成为一种稀缺的安全能力。永远不要把“最终确认键”交给算法。

[阅读网页](https://thinkingmodels.site/entries/detail/m02311)