# 修正线性单元

> 整流线性单位函数（Rectified Linear Unit, ReLU），又称修正线性单元，是一种人工神经网络中常用的激励函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。比较常用的线性整流函数有斜坡函数，其定义为取输入值与0两者之中的较大值，也就是当输入大于0时输出输入本身，当输入小于0时输出0。

- ID: m06292
- 分类: business
- 领域: 管理学

## 定义

最常用的激活函数。f(x) = max(0, x)。输入小于0时输出0（抑制），大于0时直接输出（线性）。简单、高效、稀疏。脚手架作用： 单侧过滤。对于负能量、无意义的噪音，直接归零（无视），不要与其纠缠；对于正向的、有价值的信号，原样通过，全力支持。这是最高效的精力管理策略。

## 机制

激活函数决定神经元输出。ReLU = max(0, x)：输入 ≤0 输出 0（抑制该神经元，制造稀疏），输入 >0 原样通过（线性，保留信号）。计算极简、缓解梯度消失，使深层网络可训练。其"负则归零、正则放行"被借喻为精力管理。

## 练习

1. 在网络每层线性变换后接 ReLU。 2. 负输入直接置 0（丢弃噪声 / 负向信号）。 3. 正输入线性传递，保留有用特征。 4. 训练中用其稀疏性加速收敛（注意死神经元问题可换 Leaky ReLU）。

## 脚手架用法

单侧过滤。对于负能量、无意义的噪音，直接归零（无视），不要与其纠缠；对于正向的、有价值的信号，原样通过，全力支持。这是最高效的精力管理策略。

[阅读网页](https://thinkingmodels.site/entries/detail/m06292)