大模型幻觉率怎么验？2027年选型别只看厂商的宣传数字

幻觉率为什么难以横向比较

很多企业在选大模型供应商时，会把“幻觉率”当成可以直接比较的数字：A家说自己低于某个值，B家说更低，选型就变成了比数字。但真实业务里，同一个模型在不同问题、不同文档、不同提示方式下的表现可能差别很大。采购方拿到的往往是脱离场景的数字，却要为错误答案承担客户投诉、合规风险和返工成本。

幻觉率没有统一的测算口径。有的厂商按公开榜单测，有的按自家内部题库测，题目难度和判定标准也不同：是“完全编造”才算错，还是“细节有出入”也算错？把两家的数字放在一起，等于用两把刻度不同的尺子比长短。

常见误区

第一，把通用基准当成业务结论。通用测试集通常不包含你的产品条款、内部流程和行业术语。

第二，只盯模型，忽略检索链路。很多所谓“幻觉”其实来自召回错误或文档过期，模型只是忠实地基于错误材料作答。

第三，忽略拒答能力。在不确定时选择说“无法确定”的系统，数字未必漂亮，却可能比永远给出答案的系统更可靠。

怎么做才对：用自己的题库检验

可以按以下步骤操作：

1. 从真实工单和客服记录中抽取100到300个问题，覆盖高频、长尾和易混淆三类。

2. 为每题标注标准答案及可接受的依据来源。

3. 要求各家供应商在同一套文档、同一套题目上，于试用环境中跑结果。

4. 人工判定时区分三类：编造事实、引用错误来源、结论正确但缺少依据。

5. 同时统计拒答率，与错误率一起看。

这样得到的结果，才是你能用来决策的指标。

选型时该追问什么

除了测试结果，还要问供应商：错误样本如何复盘？是否支持引用溯源、置信度提示和人工兜底？模型或检索组件升级后，回归测试由谁负责？这些问题的答案，比一个漂亮的百分比更能反映长期可靠性。如果想系统了解服务商的评估框架，可以参考企业AI转型服务怎么选？2027年选型五个判断标准。

本周可做的一件事

从近三个月的客服或内部问答日志里随机抽50条高风险问题，人工标注正确答案，然后用它去测试你正在评估的两家供应商。只做这一件事，你就能拿到第一份属于自己的幻觉数据。

幻觉率不是采购清单上的一个参数，而是需要在自己业务里反复验证的能力。把判断权交给你的题库，而不是厂商的宣传页。