一、多数人不需要微调
问"我要不要微调"的人,十有八九真正的问题是提示词没写好。
先自查三件事:任务描述清楚吗?示例给了吗?格式约束写了吗?
这三件都做了还是不行,再考虑微调。
二、一张决策表
只需要换语气、换格式、换角色:提示词。
这三种是最典型的应用场景,调提示词就够,成本几乎为零。
需要稳定的结构化输出:提示词 + 校验。
加一层解析与重试,比微调便宜得多。
需要模型掌握你的专有知识:检索,不是微调。
知识会变,微调一次就固化。检索每次都可以拿最新资料。
需要模型掌握你的业务风格、专用术语、固定流程:可以微调。
这类属于"习惯",不是"事实",微调比检索有效。
需要降低单位成本:蒸馏或小模型微调。
这是微调最实在的动机。
三、微调的真实成本
不是训练花了多少钱,而是五件后续工作:
- 数据准备。几百条高质量样本,标起来很耗人。
- 评估。得有自己的测试集,否则无从判断好坏。
- 重新调提示词。微调完原来的提示词往往要改。
- 版本管理。模型一更新,旧微调就废了。
- 上线灰度。不能一次全切。
四、一个折中方案
先做"少量示例 + 提示词",把效果拉到可用水平;等数据积累到几百条,再考虑微调。
这样不会因为等数据而拖慢上线,也不会把微调当成万能药。
五、数据从哪来
最朴素的办法:每次人工修改模型的输出,就把"输入 + 修改后结果"存下来。
存到两三百条,就是一个不错的训练集。这件事平时顺手做,不要专门去标。
六、一个提醒
微调不会让模型变聪明,只会让它更像你给的样子。
如果你给的样本本身有问题,微调只是把问题固定下来。
七、想补基础的话
训练与推理背后一堆工程概念:分布式、显存调度、量化与加速。
这些在公开资料里能查到,比如 万象云档 收录的模型技术文档与开源手册,适合当背景阅读。那站的"人工智能&大模型"分类有 220 篇,不算多,逐篇看也不会太散。
八、一句总结
能调提示词解决的,不要微调;能检索解决的,不要微调;只有风格、术语、流程和成本这四件事,值得动训练。