上下文长度是什么
简单说,上下文长度就是模型一次能记住多少内容。你发给它的对话、文档、代码,全都算在这个长度里。
单位通常是 token。一个汉字大约对应1到2个token,一份10页文档可能在5000到10000 token之间。
为什么越长越好用
1. 能处理长文档
短上下文模型看不了长报告、长合同、完整代码库。上下文长了,才能做全文级别的总结和分析。
2. 多轮对话不丢信息
上下文短的模型聊几轮就忘了前面说过什么。上下文长,对话连贯性明显更好。
3. 适合复杂任务
写代码、做数据分析、多步推理,都需要把大量信息同时放在上下文里。
但上下文不是越长越好
这是很多人容易误解的地方:
- 成本上升:token 越多,费用越高,且是平方级增长的一部分场景。
- 速度变慢:上下文越长,响应越慢。
- 中间信息丢失:部分模型在超长上下文下,中间部分的内容容易被忽略。
实际使用建议
- 不要把无关内容全丢进去,先筛一下再输入。
- 长文档分段处理,比一次性塞进上下文更稳。
- 重要信息放在开头或结尾,命中率更高。
- 对话太长时主动开启新会话,避免累积噪音。
总结
上下文长度是重要指标,但不是唯一指标。真正好用与否,还要看模型在长文本下的信息召回能力和成本控制。
选型时建议扔一份真实的长文档实测,而不是只看参数表。