Duaer

指南

大模型幻觉怎么治?2027年企业知识问答的三道防线

本文整理自 Duaer 文档站,讨论企业知识问答助手中大模型幻觉的成因、常见误解,以及数据、生成约束和分级审核三道防线的做法。

从上线第二个月说起

很多企业的知识问答助手上线第一个月反馈不错,第二个月业务同事开始发现:答案读起来很通顺,但条款号对不上,数字是编的,流程里凭空多了一步。这就是大模型幻觉,即模型在缺乏可靠依据时,仍然生成流畅而自信的内容。对企业来说,真正的痛点不是“它会不会错”,而是“错了以后没人能及时发现”。

幻觉为什么在企业场景里更难治

通用对话中,幻觉的代价可能只是一次误会;企业场景里,它可能变成错误的报价或错误的合规解释。难点主要有三个。第一,企业知识分散在制度、合同、工单和邮件里,版本多,还常常互相矛盾。第二,业务问题往往需要跨多份文档推理,模型一旦漏掉其中一份,就会用通用知识去补齐。第三,答案缺少天然的校验标准,业务人员未必有时间逐条核对。

三个常见误解

第一个误解是“换更大的模型就能解决”。模型能力提升确实能减少一部分错误,但如果检索到的材料本身过期或彼此冲突,再强的模型也会把错误内容说得很好听。

第二个误解是“接了知识库就不会幻觉”。检索只是把材料送到模型面前,模型仍可能忽略材料、混用训练时学到的通用知识,甚至编造并不存在的引用来源。

第三个误解是“在提示词里写一句‘不要乱说’就够了”。提示词约束有一定作用,但它不能替代可验证的机制。

做对的三道防线

第一道防线是数据。先给每份知识标注版本、责任人和生效日期,过期文档及时下线。否则检索做得再准,也只是在引用旧答案。如果团队还处在起步阶段,可以先参考企业知识库AI化:先治数据,再谈问答中的做法,把数据底座理顺。

第二道防线是生成约束。要求回答必须附上出处片段;无依据时明确说明“资料中未找到”,而不是硬答。同时用一组标注好的问题做定期回归测试,关注两个指标:有依据时的答对率,以及无依据时的正确拒答率。只看演示效果,很难发现问题。

第三道防线是分级审核与追溯。按风险分级:低风险的内部查询可以直接给出答案并附出处;涉及金额、合规判断或对外承诺的内容,必须经过人工复核。每一次被发现的错误,都要回流到知识修订和提示词调整中,形成闭环。

本周可以做的一件事

从现有问答日志里抽取30个真实问题,请业务负责人逐条标注三件事:答案有没有出处,出处是否正确,内容是否存在编造。然后统计错误类型。多数情况下,幻觉会集中在少数几类文档或少数几种问题上,这正是下一步治理的入口。

大模型幻觉很难彻底消灭,但可以被约束、被发现、被追溯。企业要做的,是把“它可能会错”变成一个可以管理、可以度量的风险。

常见问题

企业知识问答出现大模型幻觉,应该先从哪里入手?

通常先从数据治理入手:为每份知识标注版本、责任人和生效日期,并及时下线过期文档。数据不干净时,检索和模型能力再强,也容易引用旧内容或相互矛盾的材料。

如何判断知识问答助手的幻觉问题是否可控?

可以用一组标注好的真实问题做定期回归测试,重点看两个指标:有依据时的答对率,以及无依据时的正确拒答率。同时要求回答附出处,便于业务人员核对。

哪些类型的回答需要人工复核?

涉及金额、合规判断或对外承诺的内容应经过人工复核。低风险的内部查询可以直接给出答案并附出处,但发现的错误仍需回流到知识修订和提示词调整中。