> For the complete documentation index, see [llms.txt](https://doc.duaer.com/zh/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://doc.duaer.com/zh/guides/criteria-for-vendor-evaluation.md).

# 2027年供应商评估标准：签约前的五项测试

本文整理自 Duaer 文档站，围绕企业 AI 供应商选型，说明如何在签约前先制定书面评估标准、区分准入门槛与评分项、用自有数据测试，并核算总成本与退出条款。

## 为什么标准在演示开始前就会失效

大多数企业 AI 供应商选型都从一次演示、一份价格表和一个截止日期开始。签约三个月后，团队常常发现模型表现不错，但数据连接器有限、管理员控制过于薄弱，而退出条款又让迁移成本很高。根本原因很少只是供应商的技术本身，而是团队从一开始就没有统一要比较什么。缺少书面标准，评估就会滑向谁演示得最有说服力，谁就更容易胜出。

供应商会挑选想让你看到的内容。精致的演示会突出在干净样本数据上的最佳场景，功能清单则会列出产品曾经发布过的每一项能力。如果团队事先没有明确标准，评分往往会奖励演示质量、熟悉程度，以及销售工程师恰好强调的某个功能。

另一个问题是，标准经常把硬性要求和偏好混在一起。当「必须支持我们的文档格式」与「最好有仪表盘主题」出现在同一列表中，权重就变得随意。最后得到的表格看上去很严谨，却无法解释为什么某家供应商胜出。

## 从业务任务出发，而不是从产品类别出发

在写任何标准之前，先用平实的语言描述业务任务：谁使用系统，它支持什么决策或回答什么问题，会接触哪些数据源，运行频率如何，出错时会发生什么。需要基于政策文件给出带引用答案、并嵌入现有工单工具的客服团队，与需要自动化发票分类的财务团队，对系统的要求截然不同。

任务明确之后，标准自然就出来了。数据敏感度决定部署方式和数据驻留要求；出错成本决定输出需要多少人工核验；调用量决定按次计费还是固定费用更合理。先把这些写下来，可以避免团队脱离实际场景抽象地评估产品。

## 把准入门槛与评分分开

一套有效的评估分为两层。第一层是准入门槛，即在投入更多时间之前必须通过的合格与否条件。典型门槛包括：数据能否留在指定地区或环境中，供应商能否出示当前有效的安全与合规证明，合同是否在未经明确同意的情况下禁止使用你的数据训练模型，以及产品能否在你现有的架构中运行。

第二层是加权评分。在这一层，你需要根据自己的测试集评估答案质量，并同时考察集成工作量、你预期用量下的总成本、支持响应速度、管理控制能力以及产品路线图与自身需求的契合度。务必在看到供应商回复之前就确定权重。一个实用的做法是把最多的权重分给两到三个日后最难修补的标准。

## 用自己的数据测试，而不是依赖厂商基准

公开的基准分数和供应商宣称的准确率，都是在非你方的数据上测得的。它们可用于初步筛选，但无法预测系统在你的政策文件、产品名称或内部术语上的实际表现。

建议准备 30 到 100 个来自真实工作的测试任务，其中包括简单案例、有歧义的案例，以及答案不在你文档中的问题。对所有供应商使用同一套测试题，并记录三件事：答案是否正确，是否引用了可验证的来源，以及在信息缺失时是否恰当地拒绝回答。拒答行为往往是最能说明问题的信号。一个会自信地回答无解问题的系统，会带来任何功能清单都无法弥补的问题。如果你专门在选择基于检索的知识工具，可以参阅我们的指南[如何选择企业级 RAG 知识库产品](https://doc.duaer.com/zh/guides/enterprise-rag-knowledge-base-selection/)，其中更深入地介绍了与检索相关的检查项。

进行此类测试时，应让各供应商的测试条件保持一致：同样的文档、同样的提示词、同样的评审人员。否则比较的将是你的配置能力，而不是产品本身。

实际操作中，许多团队发现，在受控的试用环境中进行对比，比从零搭建自己的测试环境更省力。例如，Duaer 允许你加载一组样本文档，并通过试用工作区运行同一份问题清单，使各候选产品的评分步骤更具可比性。你可以在 [https://www.duaer.com](https://www.duaer.com) 注册，在签约前用自己的数据验证评估标准。

## 计算总成本，并评估交付团队与退出条款

软件许可价格只是供应商合作总成本中的一项。评估时还应考虑集成工作、数据准备、维护系统所需的内部人力成本、使用量随采用率增长而增加的费用，以及所需基础设施的费用。如果一款许可费更低的产品需要更长的集成项目或专门的团队来保持数据清洁，它最终可能成为更昂贵的选择。

退出条款应纳入同一计算。需要询问：你能否以可用的格式导出文档、向量嵌入、提示词库、日志和配置；终止合同需要提前多久通知；供应商的专有组件是否会阻碍未来的迁移。锁定风险在选型阶段比事后补救容易防范得多，我们的概述[如何识别 AI 供应商锁定风险](https://doc.duaer.com/zh/guides/vendor-lock-in-ai/)列出了合同审阅时应提出的问题。

负责交付实施的人员与软件同样重要。请向数据环境和风险情况相似的机构索取客户推荐，并直接与其沟通，而不是只依赖书面案例摘要。询问将被分配到你项目的是哪些人，他们同时负责多少个其他项目，以及当生产环境中的测试失败时他们如何应对。

一个有用的问题是供应商如何处理失败。优秀的合作方会描述具体的事故、他们采取的诊断步骤以及事后做出的改变。若对「持续改进」的回答含糊其辞，通常意味着该流程尚未经过检验。

## 让决策可复核，并落地到本周

记录准入门槛的结果、评分、权重，以及任何例外调整背后的理由。如果高层利益相关者想选择一家得分较低的供应商，这一决定应连同其取舍一并存档。日后有人质疑为何做出该选择时，这份记录能保护团队。

建议在生产环境运行约 90 天后进行一次复核，将实际使用模式、错误率和支持体验与评估时的预测进行对比。供应商选型不是一次性事件，而是一个假设，需要由生产数据来验证或修正。

本周可以着手的具体行动包括：起草一页纸的评估表；列出三到五条无论价格如何都会直接淘汰供应商的准入门槛；围绕具体业务任务选定五项加权标准；由团队提供三十个真实问题或任务作为测试集，其中至少五个在你的文档中没有正确答案；将同一份任务说明发给三家入围供应商，并用同一张评估表对其回复打分。

如果你希望在不自建测试环境的情况下完成这一流程，可以在 [https://www.duaer.com](https://www.duaer.com) 注册试用，加载你自己的样本材料，在签约前比较各个工作流程的实际表现。

优秀的供应商评估与其说是寻找最令人印象深刻的产品，不如说是提前以书面形式明确：对你的组织而言，什么样的结果才算好。

## 常见问题

### 企业在选择 AI 供应商时，应该先看演示还是先定评估标准？

应先定标准。演示通常展示的是供应商挑选的最佳场景，若没有事先确定的书面标准，评分容易被演示效果和熟悉程度左右。建议先描述业务任务，再列出准入门槛和加权评分项。

### 供应商评估的测试集应该包含多少题目，需要包括哪些类型？

一般建议准备 30 到 100 个来自真实工作的任务，包括简单题、有歧义的题，以及答案不在文档中的题目。对所有供应商使用同一套题目、同样的文档和评审人员，并重点记录答案正确性、来源可验证性以及信息缺失时的拒答行为。

### 签约前应该确认哪些退出条款？

应确认你能否以可用格式导出文档、向量嵌入、提示词库、日志和配置，终止合同需要提前多久通知，以及供应商的专有组件是否会阻碍未来迁移。这些问题在选型阶段解决，比日后补救成本低得多。