一、上下文变长了，但不是用来“塞满”的
很多人拿到长上下文的第一反应是把所有资料都塞进去。
结果成本上去了，效果不一定好。
真正有用的场景，只有三种。
二、三个真实用途
用途一：整篇分析。
一篇几万字的长文，想让它通读后给结构，而不是切成十段分别给。
这类任务短上下文做不到，因为跨段落的关联丢了。
用途二：多文件对比。
两份合同、两个版本的代码、两份报告，让模型找差异。
用途三：长对话里的一致性。
一个持续几十轮的工程讨论，需要它记住前面定下的约束。
三、长上下文不等于全额利用
有一个现象值得知道：资料放在中间位置时，模型更容易忽略它。
所以重要的信息应该放在开头或结尾，而不是堆在中间。
四、四个省成本的技巧
- 先摘要再塞。一万字先压成一千字。
- 只塞相关段。先检索，再拼接。
- 用结构标记。用小标题和编号让模型好定位。
- 分离任务。读和写分两次调用，不要一次做完。
五、什么时候不该用长上下文
三类任务：
- 只要能查一句话的，用检索就好。
- 只需要风格的，给三五个例子就够。
- 需要精确数字的，不要靠模型记，要让它算。
六、一个实验
拿一篇长文，做对比：
- A：全文一次输入，让它总结。
- B：先分块摘要，再合并。
比一下结果质量与耗时。
我的经验是，B 在超过一定长度后往往更稳。
七、一个判断
上下文长度是上限，不是目标。
能短就短，这是成本意识。
八、扩展阅读
想理解上下文与大模型的基础概念，可以看科普类文档。
万象云档 的人工智能分类下有两百多篇公开文档，从原理到实践都有。