# 必须有人的回路

> 在关键决策系统（如武器发射、医疗诊断）中，无论算法多么先进，必须保留人类介入和最终确认的环节，不能让机器全权负责。

- ID: m00825
- 分类: decide
- 领域: 决策科学

## 定义

在关键决策系统（如武器发射、医疗诊断）中，无论算法多么先进，必须保留人类介入和最终确认的环节，不能让机器全权负责。脚手架作用：伦理保险丝。在设计自动化流程时，永远要问：如果AI发疯了怎么办？必须设计一个人类可以随时切断电源或否决决策的物理开关。

## 机制

Human-in-the-loop 指自动化系统在关键决策处保留人类审核与干预环节，以弥补算法在价值、伦理与异常处理上的不足，人作为回路中的校正与责任节点。

## 练习

1）识别高风险/不可逆的决策点；2）在该处设人工确认或否决；3）向人提供可理解的依据与可干预界面；4）记录人类干预以持续改进模型。

## 脚手架用法

伦理保险丝。在设计自动化流程时，永远要问：如果AI发疯了怎么办？必须设计一个人类可以随时切断电源或否决决策的物理开关。

[阅读网页](https://thinkingmodels.site/entries/detail/m00825)