Duaer

指南

AI 审计日志 FPT 2027:选择供应商前的五项检查

本文整理自 Duaer 文档站,围绕企业 AI 审计日志的选型,给出选择供应商前的五项检查,帮助团队判断日志能否真正重建一次 AI 决策。

为什么 AI 审计日志比看上去更难采购

当监管机构、审计人员或内部风控团队问到你的 AI 系统上周二到底做了什么时,答案通常分散在三四个地方:供应商的控制台、聊天记录、API 网关日志,以及某位工程师对当时上线模型版本的记忆。每一处都只保存了故事的一部分,没有一处能还原完整链路。这种缺口正是大多数人搜索 AI 审计日志时的真实痛点,也是这一领域供应商选型经常出错的原因:团队买了一个能记录提示词和回复的产品,就以为万事大吉,直到第一次真正的调查时才发现无法重建一个决策。

传统应用日志只回答一个简单问题:哪个请求进来了,运行了哪段代码。AI 系统则多了许多标准日志从未设计过的层次。一次用户操作可能触发检索步骤、从代码库中调取的提示词模板、指定版本和温度参数的模型调用、一次或多次工具调用,以及后处理规则。记录中只要缺少任何一环,这个决策就无法复现。

因此,只写着「请求已接受、回复已生成」的日志,对审计几乎没有用。它告诉你发生了什么,却不告诉你为什么。在比较供应商之前,先在内部统一「重建一个决策」到底意味着什么。对面向客户的回答,可能意味着准确的提示词、检索到的文档及其版本、模型标识符,以及批准输出的人;对内部起草工具,标准可以低一些。如果没有这个定义,每一场演示看起来都会很有说服力。

供应商通常在哪些地方夸大

多数销售沟通聚焦于仪表盘、搜索和导出按钮。这些功能有用,但属于展示层面。真正重要的是底层记录。留意以下三种常见的夸大说法。

第一,「完整审计追踪」往往指完整的对话历史,而不是完整的执行历史。对话记录只显示用户和模型说了什么,并不显示调用了哪些工具、返回了什么结果,或者是否由备用模型作答。

第二,「不可篡改的日志」有时只是指供应商的数据库是追加写入的,而写入它的应用程序仍可能在记录到达之前覆盖或丢弃记录。应当追问记录在哪里生成,以及在生成到存储之间谁有权修改。

第三,「合规」一词很少被明确定义。要追问供应商对应哪个框架、能展示哪些控制措施,以及是否有第三方审核过。请用结构化的采购方法,而不是只依赖宣传册。我们的AI 供应商评估清单涵盖了通用问题,这些问题在这里同样适用。

一份可用的记录必须包含什么

在评判任何产品之前,先写下一次决策必须携带的最少字段。一个可行的基线通常包括:把用户操作与每个下游步骤关联起来的唯一请求标识符;用户或服务身份及其所用角色;最终实际发送的提示词(包括模板版本);模型名称、版本和供应商地区;检索到的来源,包括文档标识符和时间戳;每一次工具调用及其输入和输出;交付给用户的输出;以及任何人工审批或覆盖操作,包括执行人和时间。

如果供应商无法在真实样本中展示这些字段,就应将其声称视为未经证实。若想深入了解这些记录如何与审批关卡和风险控制相连,可以阅读我们的文章AI 审计日志:为什么团队无法重建 AI 决策。

检查保留期限、防篡改能力与访问权限

保留期限常常是预算失控的地方。监管机构和内部政策通常要求记录保存固定期限,而这一期限可能长于供应商的默认设置。应询问默认保留期多久、延长需要付出多少成本,以及被删除的记录是否会留下痕迹。同时确认贵公司内部和供应商内部谁可以读取原始日志。日志往往包含个人数据和机密提示词,因此访问控制本身就是审计的一部分。

防篡改意味着你能证明记录在事后没有被改动。应询问供应商是否使用哈希或签名批次,以及你能否在不依赖供应商的情况下验证这些签名。只能通过供应商自己的界面进行检查的系统,在外部审计师面前更难自证清白。

签约前测试导出与回放

无法导出的日志就是无法使用的日志。应要求供应商提供一份样本导出,格式是你的调查工具可以读取的,例如结构化 JSON 或标准数据仓库模式。然后做一次回放:从试点中挑选三个真实决策,尝试仅凭导出的记录重建每一个,并记下你不得不靠猜测补全的每个字段。如果需要猜测,说明记录并不完整。

这一步也是价格意外出现的地方。完整提示词和检索文档的存储量增长可能很快,有些供应商对导出或查询量单独收费。请按预期请求量至少测算一年的成本,而不仅仅是试点阶段的费用。

如果你希望在不从零搭建测试框架的情况下进行这类回放测试,可以在Duaer中按同样的流程操作,并将其生成的记录与上述字段清单逐项对照。无论最终选用哪种工具,这个测试本身都是不应跳过的环节。

上线后的衡量与本周行动

上线后,跟踪一小组指标。第一是重建时间:一名受过培训的人员用日志解释一次历史决策需要多长时间。第二是覆盖率:产生了包含全部必需字段的完整记录的 AI 辅助操作占比。第三是缺口数量:因字段缺失而无法处理的事件或审查请求有多少。每月复盘。如果覆盖率低于政策要求,问题通常出在集成层而非模型本身,在扩大使用范围之前值得重新检查供应商的连接器。

本周可以这样做:选一个已经接触客户或敏感数据的 AI 工作流,为其中一次决策写出最少字段清单;然后请现有或候选供应商为该工作流生成一份样本记录,并执行上文所述的回放测试。这几个小时的练习,比一个月比较功能页面学到的还要多。

如果你现在正在选择 AI 审计日志方案,可以在 Duaer 注册,在签约之前端到端地测试你的第一个工作流。

我们也可以审阅你的场景,并为其撰写一份书面的落地路线。请告诉我们你的场景,我们会将书面落地路线发回给你。

https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8

AI 审计日志的价值,取决于它能否回答一个问题:发生了什么,以及为什么。请选择那个在你自己的数据上通过这一检验的供应商。

常见问题

AI 审计日志应该记录哪些内容?

至少应包括唯一请求标识符、用户或服务身份及角色、最终发送的提示词与模板版本、模型名称和版本、检索到的文档及时间戳、每次工具调用的输入输出、交付给用户的输出,以及任何人工审批或覆盖记录。

如何判断供应商的 AI 日志能否支持事后调查?

要求供应商提供真实样本的导出文件,挑选几个真实决策,仅凭导出的记录尝试重建。若过程中需要猜测任何字段,说明记录不完整,应继续追问或更换方案。

选择 AI 审计日志供应商时,最容易被忽视的是什么?

通常是保留期限和存储成本。默认保留期可能短于监管要求,完整提示词和检索文档的存储量增长很快,因此应按预期请求量测算至少一年的费用。