# 正则化

> 在损失函数中加入一个惩罚项（如参数的绝对值），以限制模型的复杂度，防止过拟合。

- ID: m06030
- 分类: learn
- 领域: 学习科学

## 定义

在损失函数中加入一个惩罚项（如参数的绝对值），以限制模型的复杂度，防止过拟合。宁可牺牲一点训练精度，也要保持模型的简单性。脚手架作用： 人为引入的约束。在解释世界或制定计划时，如果你发现解释过于复杂（过拟合），通过引入“正则化项”（奥卡姆剃刀），强迫自己剔除次要变量。简单的模型往往泛化能力更强。

## 机制

在损失中加惩罚项（L1/L2）约束参数规模，降低模型复杂度，提升泛化、抑制过拟合。

## 练习

1）选正则项与强度 λ；2）加入目标；3）训练；4）按验证误差调 λ。

## 脚手架用法

人为引入的约束。在解释世界或制定计划时，如果你发现解释过于复杂（过拟合），通过引入“正则化项”（奥卡姆剃刀），强迫自己剔除次要变量。简单的模型往往泛化能力更强。

[阅读网页](https://thinkingmodels.site/entries/detail/m06030)