大模型为什么会胡说:三层成因与四道防线

一、一、幻觉不是单一 bug

模型胡说,常被归因为"模型不行"。但在工程上,幻觉至少有三种不同成因,对应不同解法。

弄清楚是哪一种,比换模型有用。

二、三层成因

第一层:知识缺失。

模型压根没学过,比如极少见的专业细节、内部数据、最新事件。

解法:检索。给它资料,并且要求引用原文。

第二层:知识过时。

学过,但版本旧了。价格、政策、版本号、人物职务都属此列。

解法:把时间敏感信息全部外置,从数据库或接口取。

第三层:表达压力。

这条最微妙。任务要求它"给出一个完整答案",但信息不足,于是它编一个补齐。

解法:允许它说"不知道"。提示词里明确给这个出口。

三、四道防线

防线一:给闭集。

能选选项的题就不要开放作答。分类、标签、状态这类字段,直接给枚举值。

防线二:要引用。

每个结论后面附上来源句。没有来源的结论直接丢弃。

防线三:结构化输出。

JSON 比自然语言好校验。字段缺失、类型不对能机器检查。

防线四:分层校验。

第一次生成,第二次审核。用一个专门挑错的提示词,效果比自我反思好。

四、几个实测有效的提示句

```

如果你不确定,请直接写"不确定",不要推测。

每个数字必须能在原文里找到对应句子,否则不要输出。

请列出你回答本题用到的全部原文片段。

```

第三句最硬。它逼着模型把依据摆出来,编造成本一下就上去了。

五、评估幻觉的办法

不要抽一篇看看,要看比例。

准备三五十条题,分三组:模型应该会的、可能不会的、一定不会的。

看它在你"一定不会"的题上会不会胡编。会的话,说明拒答能力不足,得改提示词。

六、什么时候必须加人工

涉及金额、医疗、法律、对外发布的内容,一律加人。

不是不信任模型,是这类错误代价太高,靠概率兜不住。

七、补充阅读

如果要系统地补模型原理,找一本结构清楚的文档比看碎文章好。 万象云档 的"人工智能&大模型"分类收了 220 篇,从入门到原理都有。它的编辑推荐页往往会标出适合的读者层次,选书时很有用。

八、一句总结

幻觉不是道德问题,是信息不足时的工程问题。

给资料、给出口、给校验,三件事做到,幻觉能压下去大半。