# 丢弃法

> 在训练神经网络时，随机地“丢弃”（暂时关闭）一部分神经元。

- ID: m05920
- 分类: technical
- 领域: 神经科学

## 定义

在训练神经网络时，随机地“丢弃”（暂时关闭）一部分神经元。这强迫剩余的神经元去学习更鲁棒的特征，防止网络过度依赖某些特定的路径（过拟合）。脚手架作用： 通过截肢来变强。在团队或个人成长中，偶尔“断网”、强制“休假”或“轮岗”（丢弃部分能力），能迫使系统在资源缺失的情况下寻找新路径，从而极大增强系统的韧性和适应力。

## 机制

神经网络训练中随机关闭部分神经元，迫使剩余神经元不依赖特定路径、学到更鲁棒的特征，缓解过拟合。机制是：随机"缺失"打破神经元间的共适应（co-adaptation），相当于在每次迭代训练一个略不同的子网络，集成后更稳健。

## 练习

1) 在训练阶段以概率p随机丢弃神经元；2) 推理阶段恢复全部神经元并作相应缩放；3) 调参丢弃比例（常用0.2-0.5）；4) 将"缺失即变强"的思路迁移到组织/个人韧性设计。

## 脚手架用法

通过截肢来变强。在团队或个人成长中，偶尔“断网”、强制“休假”或“轮岗”（丢弃部分能力），能迫使系统在资源缺失的情况下寻找新路径，从而极大增强系统的韧性和适应力。

[阅读网页](https://thinkingmodels.site/entries/detail/m05920)