# 微调

> 在一个已经在海量通用数据上预训练好的大模型基础上，用少量特定领域的专业数据进行二次训练，使其成为该领域的专家。

- ID: m05949
- 分类: learn
- 领域: 学习科学

## 定义

在一个已经在海量通用数据上预训练好的大模型基础上，用少量特定领域的专业数据进行二次训练，使其成为该领域的专家。脚手架作用： 站在巨人的肩膀上专精。不要试图从零开始建立通用能力（预训练成本太高）。利用现有的通用框架（如通识教育、成熟技术栈），通过注入你独特的“微量数据”（行业Know-how），以最小成本打造专用竞争力。

## 机制

在海量通用数据预训练好的大模型基础上，用少量领域专业数据二次训练，使其成为该领域专家，是“站在巨人肩上专精”；不必从零训练，复用通用表征。

## 练习

取合适的预训练模型；准备高质量领域数据；设较小学习率二次训练；验证并防止过拟合或灾难性遗忘。

## 脚手架用法

站在巨人的肩膀上专精。不要试图从零开始建立通用能力（预训练成本太高）。利用现有的通用框架（如通识教育、成熟技术栈），通过注入你独特的“微量数据”（行业Know-how），以最小成本打造专用竞争力。

[阅读网页](https://thinkingmodels.site/entries/detail/m05949)