Duaer

指南

大模型幻觉案例拆解:2027年企业最容易踩的五类坑

本文整理自 Duaer 文档站,拆解企业在大模型落地中最常见的五类幻觉案例,说明幻觉为何难以发现,并给出拒答、溯源、抽检三层防线和基于自有题库的评测方法。

幻觉在企业里为什么比想象中难发现

很多团队第一次遇到大模型幻觉,并不是在演示现场,而是在业务上线之后。一位员工问年假能不能跨年结转,系统回答得有条有理,引用了一条制度条款,语气笃定。员工照着做了,几周后 HR 才发现那条条款早已废止,而模型给出的条文编号根本不存在。

问题的难点在于,企业场景里的幻觉往往“看起来很对”。通用聊天场景中,用户可以凭常识判断一个回答是否离谱;但在内部制度、产品参数、合同条款、财务口径这类专业问题上,回答通常读起来流畅、结构完整,连错误都披着专业的外衣。人工逐条复核的成本又很高,于是错误会悄悄流进审批单、客户邮件和代码里。

典型案例拆解:五类最常见的幻觉

把各团队复盘的情况归并起来,幻觉大体集中在几种类型。

第一类是“检索对了,引用错了”。知识库里同时存在新旧两个版本的制度文件,检索模块召回了旧版,模型照本宣科地回答。表面上看是模型出错,根源其实是文档版本管理缺失。

第二类是“无中生有”。知识库里根本没有答案,模型却依据训练时学到的通用模式补全了一套看似合理的流程,甚至编出接口参数名。这是最典型的幻觉,也是最容易被忽略的,因为系统没有明确告诉用户“我不知道”。

第三类是“数字、期限和适用范围被悄悄改写”。原文写的是“满足条件A且在B地区办理的,可在十个工作日内完成”,模型摘要成“十个工作日内完成”,条件和地区全部丢失。数字本身没错,结论却改了性质。

第四类出现在多步任务中。智能体先查询客户等级,再计算折扣,最后生成报价。第一步的一个小偏差会被后续步骤放大,最终输出看起来逻辑闭合,实际已经偏离事实。

第五类是过度自信。模型对不确定的问题依然给出确定语气的回答,既没有引用来源,也没有置信度提示。用户无从判断哪些内容可以直接用,哪些必须核实。

常见误区:把幻觉只当成模型问题

最常见的误区,是认为幻觉主要是模型能力不足,于是不断更换更大、更新的模型。模型能力确实影响错误率,但在企业场景里,它通常不是唯一变量。检索质量、文档版本、切分方式、提示词约束、拒答机制和人工复核流程,每一环都可能引入或放大错误。

另一个误区是把“准确率”当作一次性指标。demo 阶段挑选的几十个问题表现良好,并不代表真实业务中的长尾问题也能过关。把幻觉当作一个系统性问题来管理,才是更接近实际的判断。

怎么做才对:先拒答,再溯源,最后抽检

比较稳妥的做法是分三层设防。第一层是检索与拒答:当召回结果的相关度低于阈值时,系统应直接回答“知识库中暂未找到依据”,而不是硬生成答案。第二层是溯源:每个结论都要附上原文出处、文件版本和生效日期,让用户可以一键核对。第三层是抽检:对高风险问题(财务、合规、客户承诺)设定固定比例的人工复核,并把复核结果反馈回知识库和提示词。

更完整的三道防线拆解,可以参考大模型幻觉怎么治?2027年企业知识问答的三道防线。如果你的团队正处在把知识库接入问答的阶段,也可以直接在 Duaer 里搭建这套流程:文档版本管理、检索溯源和拒答规则都在同一个界面里配置,便于用自己的真实问题做对照测试。当然,Duaer 只是一个可选项,关键还是你们的知识治理是否到位。

怎么衡量:用自己的题库,而不是厂商宣传数字

衡量幻觉最可靠的方式,是建立一份属于自己企业的评测题库。题目应当来自真实工单、客服记录和员工咨询,并覆盖三类情况:知识库中有明确答案的、部分有依据的、以及根本没有答案的。每道题要标注标准答案和可接受的出处。

评估时不要只看“答对了多少”,还要看三个指标:错误回答中有多少是无依据硬答的;拒答是否合理,有没有该答不答的情况;引用出处是否真的支持结论。这三个指标分开看,才能判断问题出在检索、生成还是流程。关于如何设计这类测试,可以参考大模型幻觉率怎么验?2027年选型别只看厂商的宣传数字。

本周可做的一件事

本周不必急于换模型,先做一件小而具体的事:从过去一个月的内部咨询记录里,挑出 50 个真实问题,人工给出标准答案和原文出处,然后用现有系统跑一遍。把所有“无出处却作答”的回答单独拎出来,统计它们集中在哪类文档、哪类问题上。这份清单会比任何厂商的宣传数字都更能告诉你,幻觉究竟出在哪里。

如果你希望把这次测试变成一个可重复的流程,欢迎到 https://www.duaer.com 注册试用 Duaer,用你们自己的问题和文档先跑一轮,再决定下一步怎么做。

幻觉不是偶发的意外,而是企业知识问答里必须长期管理的常态;能否在它造成损失之前把它找出来,取决于你是否有一套可以反复执行的检验方法。

常见问题

企业知识库问答出现大模型幻觉,应该先从哪里入手?

建议先不急于更换模型,而是从检索和拒答机制入手:当召回结果相关度不足时直接告知“未找到依据”,并为每个结论附上原文出处、文件版本和生效日期,便于核对。同时检查知识库是否存在新旧版本并存的问题。

如何评估一个大模型在企业场景里的幻觉率?

不要依赖厂商的宣传数字,而应基于真实工单、客服记录和员工咨询建立自有题库,覆盖有答案、部分有依据和无答案三类问题。评估时分别统计无依据硬答的比例、拒答是否合理,以及引用出处是否真正支持结论。

为什么大模型会在制度、合同等专业问题上编造内容?

在专业问题上,模型生成的回答通常流畅且结构完整,容易让人误以为可靠。当知识库中没有对应答案时,模型可能依据训练中学到的通用模式补全流程或条款,且系统未明确告知“不知道”,因此错误会被忽略。