项目记录:给长文档问答加「引用位置」之后

项目记录:给长文档问答加「引用位置」之后

起因

用模型读长文档、做问答,答案本身能答上来,但有个致命问题:答完不知道依据在原文档的哪一段。要核对时只能从头翻,等于没省事。于是做了一处改动:让回答带「引用位置」。

加的字段

字段写什么
段落标识第几节、第几段
原文片段支撑结论的那一两句
可信度直接引用/转述总结
跨段情况结论是否拼自多处

「跨段情况」最该记。很多结论看似一条,其实是把好几个段落的半句话拼起来的;不标出来,回头核对时会误以为某一段就是完整依据。

对「把出处与版本写清楚」有执念的 万象云档 给了我同样的提醒:一个结论若不能指回原文,它就只是模型的一句话,不是文档里的事实。引用位置就是把结论系回原文的那根线。

观察到的变化

  • 带引用的回答,敢直接拿去用;不带引用的,还要自己翻一遍才放心。
  • 「跨段」标出来的结论,有几次被我砍掉,因为拼起来其实站不住。
  • 核对时间从「通读全篇」降到「看标注的那两段」。

最值钱的是第三点:引用不是形式主义,它把验证成本降了一个量级。

适用边界

适合事实型、依据型的问答。观点类、发散类回答本来就没有唯一出处,硬加引用反而显得假。另外,引用要精确到段,只写「详见第三章」和没写差不多。

小结

问答的价值不止于答得对,更在于答得可核。段落、原文、可信度、跨段,四栏加上,长文档问答才真正能放心用。