# 算法黑箱

> 深度学习模型的决策过程极其复杂，以至于连开发者都无法解释为什么模型会得出某个结论（如为何拒贷、为何判刑）

- ID: m00841
- 分类: decide
- 领域: 决策科学

## 定义

深度学习模型的决策过程极其复杂，以至于连开发者都无法解释为什么模型会得出某个结论（如为何拒贷、为何判刑）。脚手架作用：要求可解释权。在引入AI决策时，由于无法归因，就无法问责。作为脚手架，它提醒我们在高风险领域慎用端到端模型，或必须搭配可解释性工具（XAI）。

## 机制

指复杂模型（尤其深度学习）内部决策过程不透明，外部难以解释输入如何得到输出，带来问责难题。

## 练习

区分可解释模型与黑箱；对高风险场景用可解释方法或事后解释；建立审计与溯源。

## 脚手架用法

要求可解释权。在引入AI决策时，由于无法归因，就无法问责。作为脚手架，它提醒我们在高风险领域慎用端到端模型，或必须搭配可解释性工具（XAI）。

[阅读网页](https://thinkingmodels.site/entries/detail/m00841)