Duaer

指南

提示词工程和上下文工程怎么落地?2027年先选对三类场景

本文整理自 Duaer 文档站,梳理企业大模型应用效果时好时坏的原因,说明提示词工程与上下文工程的分工,并给出场景排序、试点选择、常见误区和衡量方法。

为什么这件事比想象中难

很多企业的大模型应用效果时好时坏,团队的第一反应通常是换模型、再改一版提示词。可是改来改去,问题往往还在:模型拿到的信息本身就不对、不全,或者信息太多、把关键内容淹没了。提示词工程解决的是“怎么把任务说清楚”,上下文工程解决的是“在回答之前,应该给模型看什么、什么时候给、给多少”。两者在生产环境里是一起起作用的。把它们当成可以一次性写完的文案,是多数应用难以稳定运行的原因之一。

演示时,工程师手里通常是一段精心挑选的材料和一条调好的指令,结果很好看。进入真实业务后,输入变得杂乱:同一个问题有几种问法,知识库里的文档版本不一致,用户还会附上截图、表格和长段聊天记录。提示词是静态的,上下文却是动态的,二者之间的匹配关系一旦变化,效果就会悄悄下滑。

另一个难点在于责任分散。业务人员觉得“说明要写清楚就行”,IT 团队觉得“检索接上就行”,而真正决定答案质量的,是两边之间的衔接:检索出的片段够不够、系统指令和用户输入之间有没有冲突、历史对话是否该截断。没有人天然对这条链路负全责,问题就很容易被当成“模型不行”。

典型场景有哪些

从多数企业的实践看,适合先做提示词和上下文设计的场景大致有五类。

第一类是知识问答,例如内部制度查询、产品资料问答、售后手册检索。这里的核心是上下文的选取:检索到哪些段落、按什么顺序放入、是否标注来源。第二类是文档处理,例如合同条款比对、招投标材料摘要、报告结构化提取。这里的重点是指令要明确输出格式,同时上下文要按章节切分,避免整篇长文一股脑塞进去。第三类是文本生成,例如客服回复草稿、销售邮件、培训材料。这里需要稳定的语气规范和品牌用语,通常由一套固定的提示词模板加上少量参考样例构成。第四类是智能体与工具调用,模型需要知道有哪些工具、何时调用、参数怎么填,这部分可以参考智能体工具调用提示词怎么写?2027年别让模型乱调用工具。第五类是数据分析辅助,例如把业务表格和指标定义交给模型生成解读,关键在于把指标口径写进上下文,而不是让模型自己猜。

怎么排序并选第一个试点

排序时可以用两个维度打分:一是业务价值,即这个场景一旦跑顺,每周能节省多少人工或减少多少返工;二是实现难度,主要看数据是否可得、上下文能否结构化、结果是否容易校验。

一个实用的判断方法是:价值高、难度低的放在前面。知识问答和文本生成通常上下文来源清楚,结果也容易人工复核,适合做第一批。智能体类场景价值可能很高,但工具权限、错误调用的代价都大,不宜第一个上。数据分析类场景看似直接,但指标口径和数据质量往往是隐藏的门槛,需要先把基础做好。

排序之后,不要只看理论分。把每个候选场景的历史样本拿出来,抽二三十条真实问题,看现有的材料能否支撑正确回答。如果连人工都答不准,说明上下文本身有缺口,这时不该急着调提示词。

第一个试点建议满足三个条件:业务负责人能说清楚什么叫“答对了”;相关材料已经在用、有明确的负责人;错误的代价可控,出错后能被人工拦住。通常一个部门的内部知识问答,比对外的自动回复更适合作为起点。

试点范围要小。选定一类问题、一个知识域、十到二十名固定使用者,跑满两到四周,记录每一次失败的原因。失败原因大致分为三类:指令没说清,上下文没给够,上下文给多了或给错了。把这三类分开看,改进方向就清楚了。

常见误区

误区一:提示词越长越好。把规范、示例、禁止事项堆满一页,模型未必遵守,反而可能忽略其中关键的一条。更有效的做法是精简指令,把最重要的约束放在前面,并用少量高质量样例示范格式。

误区二:上下文越多越稳。检索回来十几个片段全部塞给模型,看似信息充分,实际会引入大量无关内容和相互矛盾的版本。上下文需要筛选、去重,并保留来源和时间信息。

误区三:提示词改好了就不用再管。业务规则会变,知识库会更新,提示词也会过时。对提示词做版本管理、记录每次改动的原因,是保证可追溯的基本动作,相关做法可以参考提示词版本控制:未被追踪的提示词为何会破坏企业AI。

误区四:用主观感觉判断好坏。“这次回答看起来挺好”不能作为上线依据。需要一组固定的测试问题,每次改动后对比结果。

怎么衡量

衡量指标不必复杂,但要可重复。建议至少记录四项:答案的人工采纳率,即使用者直接采用或只做少量修改的比例;事实性错误的数量,尤其是引用了错误版本材料的情况;平均处理时长,包括人工复核时间;以及同一问题在不同时间的回答一致性。前两项反映质量,后两项反映成本与稳定性。

这套流程如果要在一个统一环境里跑起来,比如把测试问题集、提示词版本、上下文来源和评估记录放在同一处管理,可以直接在 Duaer 里搭建,省去在多个表格和文档之间来回对齐的时间。它不能替代业务判断,但能让每一次改动都有据可查。

本周可做的一件事

本周先不急着换模型或扩大范围,只做一件事:从现有的业务群聊或工单里,摘出最常被问到的三十个问题,逐条标注“人工正确答案”和“正确答案依赖的材料”。这份清单会同时告诉你提示词该写什么、上下文该给什么,也会暴露材料缺口。有了它,后续的任何优化都有了可比较的基线。

如果你希望把这套流程落到自己的业务里,欢迎到 https://www.duaer.com 注册试用,先用一个小场景跑通再决定是否扩展。

我们可以免费给你一份这个场景的落地路线。告诉我们你的业务场景,我们会把对应的提示词与上下文设计路线整理成文字版发给你。

https://api.duaer.com/form/1fea7709-3f8a-47f7-b4e3-eb5fb90e3213

常见问题

提示词工程和上下文工程有什么区别?

提示词工程关注怎么把任务、角色、输出格式和约束说清楚;上下文工程关注在模型回答之前,应该提供哪些材料、以什么顺序提供、提供多少,以及是否标注来源和时间。两者在生产环境中共同决定回答质量,只改其中一个往往效果有限。

企业大模型应用效果不稳定,应该先改提示词还是先补上下文?

建议先检查上下文。可以抽取一批真实问题,看现有材料能否支撑正确回答。如果人工都答不准,说明材料有缺口或版本混乱,应先补充和整理材料;如果材料足够,再优化提示词的指令和示例。每次改动都应记录原因并用固定测试问题对比。

企业第一个AI试点应该选哪类场景?

通常建议从内部知识问答或文本生成开始。这类场景上下文来源相对清楚,结果便于人工复核,错误代价可控,业务负责人也容易定义什么叫答对了。智能体和工具调用类场景价值可能更高,但权限和误调用风险较大,适合在基础流程跑稳之后再推进。