# 激活函数

> 在计算网络中， 一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开（1）或关（0）输出的数字电路激活函数。这与神经网络中的线性感知机的行为类似。然而，只有非线性激活函数才允许这种网络仅使用少量节点来计算非平凡问题。 在人工神经网络中，这个功能也被称为传递函数。

- ID: m06291
- 分类: technical
- 领域: 神经科学

## 定义

在神经元输出端引入的非线性函数（如Sigmoid, ReLU）。如果没有它，神经网络无论多少层，本质上都只是线性变换，无法拟合复杂世界。激活函数赋予了网络“弯曲”的能力。脚手架作用： 非线性的引入。如果你做事总是直来直去（线性），你只能解决简单问题。要处理复杂的人性或局势，必须在你的行为模式中引入“激活函数”（如幽默、转折、阈值控制），让你的输出具有非线性特征。

## 机制

神经网络中引入非线性的函数，决定神经元是否及多大程度"激活"输出，使多层网络能逼近任意复杂函数，打破线性叠加的局限。

## 练习

依任务选函数（Sigmoid/Tanh 用于旧模型，ReLU 及其变体用于深层网络）；注意梯度消失/爆炸；输出层按回归/分类选线性或 softmax。

## 脚手架用法

非线性的引入。如果你做事总是直来直去（线性），你只能解决简单问题。要处理复杂的人性或局势，必须在你的行为模式中引入“激活函数”（如幽默、转折、阈值控制），让你的输出具有非线性特征。

[阅读网页](https://thinkingmodels.site/entries/detail/m06291)