> For the complete documentation index, see [llms.txt](https://doc.duaer.com/zh/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://doc.duaer.com/zh/guides/llm-hallucination-rate-evaluation.md).

# 大模型幻觉率怎么验？2027年选型别只看厂商的宣传数字

本文整理自 Duaer 文档站，说明为什么厂商公布的大模型幻觉率难以直接横向比较，并给出用自有题库在试用环境中验证幻觉率、同时关注拒答率与溯源能力的做法。

## 幻觉率为什么难以横向比较

很多企业在选大模型供应商时，会把“幻觉率”当成可以直接比较的数字：A家说自己低于某个值，B家说更低，选型就变成了比数字。但真实业务里，同一个模型在不同问题、不同文档、不同提示方式下的表现可能差别很大。采购方拿到的往往是脱离场景的数字，却要为错误答案承担客户投诉、合规风险和返工成本。

幻觉率没有统一的测算口径。有的厂商按公开榜单测，有的按自家内部题库测，题目难度和判定标准也不同：是“完全编造”才算错，还是“细节有出入”也算错？把两家的数字放在一起，等于用两把刻度不同的尺子比长短。

## 常见误区

第一，把通用基准当成业务结论。通用测试集通常不包含你的产品条款、内部流程和行业术语。

第二，只盯模型，忽略检索链路。很多所谓“幻觉”其实来自召回错误或文档过期，模型只是忠实地基于错误材料作答。

第三，忽略拒答能力。在不确定时选择说“无法确定”的系统，数字未必漂亮，却可能比永远给出答案的系统更可靠。

## 怎么做才对：用自己的题库检验

可以按以下步骤操作：

1. 从真实工单和客服记录中抽取100到300个问题，覆盖高频、长尾和易混淆三类。

2. 为每题标注标准答案及可接受的依据来源。

3. 要求各家供应商在同一套文档、同一套题目上，于试用环境中跑结果。

4. 人工判定时区分三类：编造事实、引用错误来源、结论正确但缺少依据。

5. 同时统计拒答率，与错误率一起看。

这样得到的结果，才是你能用来决策的指标。

## 选型时该追问什么

除了测试结果，还要问供应商：错误样本如何复盘？是否支持引用溯源、置信度提示和人工兜底？模型或检索组件升级后，回归测试由谁负责？这些问题的答案，比一个漂亮的百分比更能反映长期可靠性。如果想系统了解服务商的评估框架，可以参考[企业AI转型服务怎么选？2027年选型五个判断标准](https://doc.duaer.com/zh/guides/enterprise-ai-transformation-services-2027/)。

## 本周可做的一件事

从近三个月的客服或内部问答日志里随机抽50条高风险问题，人工标注正确答案，然后用它去测试你正在评估的两家供应商。只做这一件事，你就能拿到第一份属于自己的幻觉数据。

幻觉率不是采购清单上的一个参数，而是需要在自己业务里反复验证的能力。把判断权交给你的题库，而不是厂商的宣传页。

## 常见问题

### 大模型幻觉率应该怎么测试？

建议从真实工单和客服记录中抽取100到300个问题，为每题标注标准答案和可接受的依据来源，在同一套文档和题目上让各家供应商在试用环境中运行，再由人工区分编造事实、引用错误来源和结论正确但缺少依据三类情况，并同时统计拒答率。

### 为什么厂商公布的幻觉率不能直接拿来比较？

幻觉率缺乏统一的测算口径。不同厂商使用的题库、题目难度和判定标准各不相同，例如“完全编造”和“细节有出入”是否都算错并不一致，因此把不同来源的数字放在一起比较并不可靠。

### 选择大模型供应商时，除了幻觉率还应该关注什么？

可以追问错误样本如何复盘，是否支持引用溯源、置信度提示和人工兜底，以及模型或检索组件升级后回归测试由谁负责。同时要关注系统在不确定时的拒答能力，而不只看答案的准确率数字。