# 梯度下降

> 一种寻找最小值的迭代算法。

- ID: m01758
- 分类: technical
- 领域: 算法

## 定义

一种寻找最小值的迭代算法。就像在雾中下山，虽然看不见谷底，但只要每一步都沿着当前最陡的方向往下走一步，最终大概率能到达谷底。脚手架作用：- 行动法则：在不知道终极目标（谷底）在哪时，不要停在原地空想。只要确保每一步都让现状改善一点点（沿梯度下降），快速迭代，你终将逼近最优解。

## 机制

沿损失函数负梯度方向迭代更新参数以最小化误差；梯度指向上升最快，反向即最快下降。局部搜索的引擎。

## 练习

选损失与学习率；算梯度；参数减学习率×梯度；迭代至收敛；调学习率与防陷局部极小。

## 脚手架用法

- 行动法则：在不知道终极目标（谷底）在哪时，不要停在原地空想。只要确保每一步都让现状改善一点点（沿梯度下降），快速迭代，你终将逼近最优解。

[阅读网页](https://thinkingmodels.site/entries/detail/m01758)