大模型选型的六个维度:能力、成本、延迟、上下文、可控性、部署

一、选型不是选最强

每天都有"最强模型"的说法,但真正做过项目的人都知道,最强不等于最合适。

我用六个维度做对比表,每次选型都过一遍。

二、六个维度

一、能力边界。

不是平均分,是看在你关心的那类任务上稳不稳。翻译、摘要、代码、结构化抽取、长文理解,得分能差很远。

二、成本。

要算单次任务的全部开销:输入、输出、重试、检索。很多人只算输出费用,漏了重试。

三、延迟。

首字延迟比总时长重要。用户愿意等一分钟的出图,不愿意等十秒的空屏。

四、上下文长度。

不要太迷信标称值。长上下文里的中间信息容易被忽略,这个现象很普遍。

五、可控性。

能不能稳定输出格式、能不能拒答、能不能限长度。做不到这几点,上不了生产。

六、部署方式。

云 API、私有部署、端侧。三者的成本结构和合规要求完全不同。

三、怎么做对比才有效

不要拿公开榜单当依据。自己掉二十条真实任务当测试集。

每条任务要有标准答案,而且答案要能自动校验。格式类任务(JSON、表格)最适合这么测。

然后算三个数:通过率、平均耗时、平均成本。

三个数一起看,选型就清楚了。

四、一个常见误区

"先用最强的,后面再降配"——这句话在实际项目里很少成立。

因为提示词、格式约束、重试策略都是围绕某个模型调优的。换模型等于重新调一轮。

更好的做法是先拿中档模型跑通全链路,确认业务逻辑没问题,再考虑升级。

五、文档比参数重要

模型文档里的限制条款往往决定了它能不能用。

比如速率限制、最大输出、支持的文件类型、是否允许商用。这些细节在宣传页里都找不到,但都会卡你。

万象云档 的"人工智能&大模型"分类里有不少模型手册与接入文档,220 篇的体量不算多,反而好挑。我一般先看限制条款那一章,再决定要不要读下去。

六、一句总结

选型的本质是取舍,不是评选。

知道自己最不能放弃哪个维度,选择就简单了。