> For the complete documentation index, see [llms.txt](https://doc.duaer.com/zh/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://doc.duaer.com/zh/guides/human-in-the-loop-optimization.md).

# 2026-2027 年人在回路优化：为什么反馈闭环会停滞

本文整理自 Duaer 文档站，探讨企业在已有人工审核的 AI 工作流中，如何把专家判断转化为结构化信号，持续优化提示词、检索、路由与评估，真正闭合反馈闭环。

## 闭合闭环为何比想象中困难

许多团队在 AI 工作流中加入了人工审核，并默认系统会自己变好。实际情况很少如此。审核人员批准或驳回输出，修正意见堆在表格或聊天线程里，几个月后提示词没有变化，评估集没有更新，模型表现与第一天相比毫无起色。人确实在回路中，但回路从未真正闭合。人在回路中的优化，就是要弥合这一差距：把专家判断转化为结构化信号，以可重复的方式改变提示词、检索、路由和评估。

本文讨论的不是审核人员是否应当把关输出，而是在人员已经开始审核之后，如何利用他们的工作让系统变得更好。如果你还在决定审核关卡应该设在哪里，可以阅读我们的指南：[为什么人在回路的 AI 工作流会在审核环节失败](https://doc.duaer.com/zh/guides/human-in-the-loop-ai-workflow-review/)。这里关心的问题不同：审核已经在进行，如何把审核成果用于改进系统。

审核环节是看得见的，它有队列、负责人和截止时间。优化环节则是看不见的，它需要有人阅读被驳回的案例，按原因归类，判断哪些原因属于提示词、哪些属于检索、哪些属于底层数据，然后做出修改，并确认修改没有破坏其他功能。

多数组织有审核人员，却缺少后半段的工作。审核人员的考核指标是处理量，因此他们动作很快，记录却很少。真正能根据反馈采取行动的人，例如提示词负责人、数据工程师或产品负责人，通常并不查看审核日志。结果是这个闭环只朝一个方向运转：人承担了错误，模型却继续犯同样的错误。

还有一个结构性问题。优化需要稳定的参照点。如果提示词每周都在变，评估集不断由最近的失败案例重建，模型版本又在不通知的情况下升级，你就无法判断某次改进是否真实。没有固定的基线，优化就会沦为个案经验。

## 浪费审核人员精力的常见错误

第一个错误是把所有反馈一视同仁。审核人员标记某个回答“有误”，可能意味着事实错误、语气不当、格式不符合下游系统要求，或者回答本身正确，只是他更愿意用另一种方式表达。这是四种不同的问题，需要四种不同的解决方法。如果它们都被归入“已驳回”这一个桶，就无法从中学到任何有用的东西。

第二个错误是没有评分标准。当两位审核人员看同一份输出而意见不一致时，分歧本身就是信息，但通常会被丢弃。跳过书面评分标准的团队，最终会朝着声音最大的审核人员优化，或者朝着当班那位审核人员优化。

第三个错误是把反馈留在聊天工具里。团队频道里的“这个不太对”之类的评论，无法被回放、统计或测试。反馈需要存放在一个能够与原始输入、检索到的上下文、提示词版本和模型版本关联起来的系统中。

第四个错误是只盯着一个数字做优化。接受率可能仅仅因为审核人员变得宽松而上升，也可能因为系统学会了输出安全但泛泛的答案而上升。只关注单一指标的优化，往往是用一个显而易见的问题换取一个看不见的问题。

## 如何设计反馈信号

一条可用的反馈记录包含三个部分。第一是决定：接受、编辑或驳回。第二是原因代码，从一份简短的固定清单中选取，例如事实错误、缺少来源、格式错误、政策问题或仅涉及风格。清单保持在五到八项即可。第三是编辑内容本身。当审核人员修改文本时，应保存差异，而不只是最终版本。差异比任何评论都更精确地显示了问题所在。

除决定之外，还要记录使结果可复现的上下文：原始输入、检索到的文档（如有）、提示词版本、模型名称与版本，以及时间戳。缺少这些字段，修正内容就无法针对新的提示词回放，你也无从判断修复是否有效。

一条实用的规则是：审核人员应当能在三十秒以内完成这条记录。如果表单比这更长，审核人员就会跳过它，你最终只剩下接受和驳回的计数，而这些数字承载的信息最少。

## 信号应当流向何处

反馈结构化之后，需要流向三个去处。第一是评估集。每个经过审核、且修正清晰的案例都应成为一条测试用例：输入、期望行为以及失败原因。随着时间推移，这套评估集会成为项目中最有价值的资产，因为它是检验今天的修复是否破坏了上个月行为的唯一途径。

第二个去处是提示词与检索层。对原因代码进行分组，查看最大的几个聚类。如果多数事实错误来自缺少来源，修复应当落在检索上，而不是提示词上。如果多数格式错误来自同一个模板，修复就是更严格的输出结构约束。每次只做一项修改，并将每项修改与一个聚类对应起来。

第三个去处是路由。一旦系统在某个特定类别上达到阈值，有些案例可以自动批准，而另一些则应始终交由人工处理。路由规则应定期审查，例如每两周一次，并根据各类别的错误率收紧或放宽。这里监控同样重要：上个季度有效的路由规则，可能会随着输入变化而逐渐偏离，因此需要配合持续检查，相关内容可参阅我们的文章：[MLOps 监控与静默模型失效](https://doc.duaer.com/zh/guides/mlops-monitoring/)。

许多团队发现，这一流程最难的部分是连接环节：日志记录、版本管理，以及把旧案例简便地回放到新配置上的方法。如果你不想从零搭建这些基础设施，[Duaer](https://www.duaer.com) 可以帮助你在同一个工作空间中运行“采集—比较—修改”的循环，让审核决定、提示词版本与评估结果保持关联。它无法替代关于什么才算好答案的人工判断，但能减少保持记录一致所需的手工工作。

## 保持闭环可靠，并衡量其效果

优化可能发生过拟合。如果你每周都用最新的错误重建评估集，系统在刚刚为之调优的案例上会表现更好，而在其他所有案例上则会变差。应保留一个从不用于调优的留出集，并且只按固定周期更新。在早期试点中，每个工作流留出几十个案例较为常见，足以发现性能退化，又不需要大规模的标注工作。

审核人员的校准同样重要。每月让两到三名审核人员独立为同一批案例打分，然后比较结果。凡是意见不一致的地方，就修订评分标准。这项工作进展缓慢，但它能把一堆主观意见变成你可以信赖的信号。

最后，在风险较高的场景中保持人的参与。优化可以减轻常规案例的审核负担，但不应悄悄取消对涉及法律、财务或安全风险决策的监督。闭环的目的是让人更有效率，而不是让人隐形。

在衡量效果时，使用一小组指标，并关注其随时间的变化方向，而不是绝对数值。对于同一类任务，模型输出与最终批准文本之间的编辑距离应当逐步下降。在你重点针对的聚类中，驳回率应当下降，而在其他聚类中不应上升。留出集上的回归率是最重要的检查项：每次修改在部署前都应在其上测试。审核人员之间的一致性显示评分标准是否清晰。平均审核时长则显示工作流是在变轻还是变重。

对目标设定要保持谨慎。把某个固定的接受率作为目标，会诱发刷指标的行为。更好的做法是提前约定哪些错误最重要，对其进行测量，并接受某些改进会比较缓慢这一事实。

## 从本周开始

挑选一个已经有人工审核的工作流，例如起草客户回复，或检查从合同中提取的字段。在接下来的五个工作日里，用三个字段记录五十个经过审核的案例：决定、来自固定五项清单的原因代码，以及编辑后的文本。留出其中三十个较早的案例作为不用于调优的留出集。然后针对最大的错误聚类，对提示词或检索设置做一项修改，并在修改前后分别在留出集上运行测试。如果修改改善了目标聚类，同时没有损害留出集，就保留它；否则回滚，转而查看下一个聚类。

如果你希望把这一做法变成可重复的流程，而不只是一次性的尝试，可以[注册 Duaer](https://www.duaer.com)，在自己的工作流上先测试采集、版本管理和比较这几个步骤，再决定是否大范围推广。

如果你愿意告诉我们你的业务场景，我们会回复一份针对该场景的书面推广路线。表单地址：https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8

只负责批准输出的人工审核员是一项成本；而其修正能够改变系统的审核员则是一项资产。两者的区别，就在于闭环是否真正闭合。

## 常见问题

### 什么是人在回路（Human in the Loop）优化？

人在回路优化是指把人工审核人员的判断转化为结构化信号，例如原因代码、修改差异和评估用例，并用这些信号持续改进提示词、检索、路由规则和评估集，使人工反馈真正影响系统表现，而不是只停留在批准或驳回的层面。

### 企业如何让人工审核的反馈真正改进 AI 系统？

可以从单一工作流入手：记录决定、固定清单中的原因代码和编辑差异；保留不用于调优的留出集；针对最大的错误聚类每次只做一项修改，并在修改前后对留出集进行测试。只有当修改改善目标聚类且没有损害留出集时，才予以保留。

### 如何判断人工反馈闭环是否有效？

应关注一组指标随时间的变化趋势，包括同类任务中模型输出与最终批准文本之间的编辑距离、目标聚类的驳回率变化、留出集上的回归率、审核人员之间的一致性以及平均审核时长。其中留出集上的回归率最为关键，每次变更部署前都应在其上测试。

