# 彩票票据假说

> 乔纳森·弗兰克尔和迈克尔·卡宾提出的假说，认为在随机初始化的神经网络中，存在一个稀疏子网络（"中奖彩票"），当单独训练时能够达到与完整网络相当的性能

- ID: m03215
- 分类: technical
- 领域: 神经科学

## 定义

乔纳森·弗兰克尔和迈克尔·卡宾提出的假说，认为在随机初始化的神经网络中，存在一个稀疏子网络（"中奖彩票"），当单独训练时能够达到与完整网络相当的性能。这个子网络从开始就具有特殊的初始权重配置。脚手架作用：网络稀疏性解释。为理解神经网络的训练动态和泛化能力提供了新视角，揭示了网络中存在的"幸运"初始配置，对模型压缩和高效训练具有重要启发意义。

## 机制

该假说认为在随机初始化的神经网络中存在一个稀疏子网络（“中奖彩票”），当以其初始权重单独训练时可达到与完整网络相当的性能，说明大模型存在可被发现的“高效子结构”。

## 练习

随机初始化网络并训练得掩码；按权重幅度剪枝保留子网络；用原初始权重重置子网络单独训练；验证其能否匹配原性能。

## 脚手架用法

网络稀疏性解释。为理解神经网络的训练动态和泛化能力提供了新视角，揭示了网络中存在的"幸运"初始配置，对模型压缩和高效训练具有重要启发意义。

[阅读网页](https://thinkingmodels.site/entries/detail/m03215)