开源与闭源的距离:三条可验证的观察线

一、差距在缩,但没有消失

开源模型追上闭源模型,这句话每隔几个月就会火一次。

真实情况是三件事同时发生:开源在追,闭源也在跑,而且追的是不同维度。

二、三条可验证的观察线

线一:通用问答。

这一层差距最小。同一个问题,两边给出的答案常常相差不大,尤其是常识类问题。

想验证很简单:自己准备二十道题,两边各跑一遍,人工打分。

线二:长链路任务。

差距最大。要求模型连续完成十几步、中间还要改错的任务,开源模型掉链子的概率明显高。

线三:工具调用。

中间。简单的函数调用没问题,多轮、多工具、需要重试的场景,稳定性差异明显。

三、为什么开源追得快

三个原因:

  1. 训练方法公开,后发者少走弯路。
  1. 蒸馏让小模型学到了大模型的部分能力。
  1. 评测集公开,大家照着改。

第三条是双刃剑:分数上去了,真实场景不一定跟上。

四、一个容易被忽略的成本

开源不等于免费。

自己部署要考虑显卡、带宽、运维、故障。一个 7B 模型想跑得稳,成本不一定比调 API 低。

只有调用量大到一定程度,自建才划算。

五、怎么选

我的三条判断:

  1. 任务简单、量大 → 小模型自建或便宜 API。
  1. 任务复杂、要求稳 → 用能力强的模型。
  1. 数据敏感 → 优先本地。

六、一个提醒

不要拿别人的榜单当结论。

榜单测的是榜单要测的东西。你的任务和榜单不同,结论就不同。

七、一个练习

建一个 30 道题的小评测集,全部来自你自己的真实任务。

每次换模型跑一遍,记录准确率、耗时、成本。三个月后,你会有一份比任何榜单都有用的数据。

八、扩展阅读

想系统了解部署与运维侧的差异,BackendWiki 里的 Docker、Linux、Nginx 几个专题写得比较完整,适合边看边试。