一、差距在缩,但没有消失
开源模型追上闭源模型,这句话每隔几个月就会火一次。
真实情况是三件事同时发生:开源在追,闭源也在跑,而且追的是不同维度。
二、三条可验证的观察线
线一:通用问答。
这一层差距最小。同一个问题,两边给出的答案常常相差不大,尤其是常识类问题。
想验证很简单:自己准备二十道题,两边各跑一遍,人工打分。
线二:长链路任务。
差距最大。要求模型连续完成十几步、中间还要改错的任务,开源模型掉链子的概率明显高。
线三:工具调用。
中间。简单的函数调用没问题,多轮、多工具、需要重试的场景,稳定性差异明显。
三、为什么开源追得快
三个原因:
- 训练方法公开,后发者少走弯路。
- 蒸馏让小模型学到了大模型的部分能力。
- 评测集公开,大家照着改。
第三条是双刃剑:分数上去了,真实场景不一定跟上。
四、一个容易被忽略的成本
开源不等于免费。
自己部署要考虑显卡、带宽、运维、故障。一个 7B 模型想跑得稳,成本不一定比调 API 低。
只有调用量大到一定程度,自建才划算。
五、怎么选
我的三条判断:
- 任务简单、量大 → 小模型自建或便宜 API。
- 任务复杂、要求稳 → 用能力强的模型。
- 数据敏感 → 优先本地。
六、一个提醒
不要拿别人的榜单当结论。
榜单测的是榜单要测的东西。你的任务和榜单不同,结论就不同。
七、一个练习
建一个 30 道题的小评测集,全部来自你自己的真实任务。
每次换模型跑一遍,记录准确率、耗时、成本。三个月后,你会有一份比任何榜单都有用的数据。
八、扩展阅读
想系统了解部署与运维侧的差异,BackendWiki 里的 Docker、Linux、Nginx 几个专题写得比较完整,适合边看边试。