指南
RAG 分块策略 2027:检索开始之前,答案就已经出错
本文整理自 Duaer 文档站,围绕企业 RAG 系统的分块策略展开,说明切分方式如何决定检索质量与答案准确性,并给出分块选择、效果评估与本周可落地的实践步骤。
真正的痛点:RAG 系统的上限取决于分块质量
大多数构建检索增强生成(RAG)系统的企业团队,前几周的精力都放在模型、向量数据库和提示词上。分块环节是在文档嵌入之前把长文档切成片段的步骤,通常直接使用默认设置,很少被重新审视。于是试点开始给出“差一点就对”的答案:政策编号错了一条款,流程漏掉了关键例外,或者助手引用了表格表头,却没有给出对应的那一行。
问题很少出在语言模型上。当检索返回了错误的片段,或者片段缺少回答所需的上下文时,再怎么调整提示词也无法完全修复。如果你已经读过我们关于为什么企业 RAG 知识库经常无法给出准确答案的整理,就会对这种模式很熟悉。分块是上游的决策,它会悄悄为后续所有环节设定上限。
为什么分块比看上去更难
企业文档并不统一。供应商合同有相互引用的编号条款;产品手册混合了正文、表格、警示框和示意图;内部 wiki 页面可能只有三段话,也可能是三十屏的嵌套列表。单一的块大小无法同时兼顾所有这些结构。
精确性与上下文之间也存在张力。小块嵌入干净,匹配具体问题的效果好,但常常丢失改变含义的周边条件;大块保留了上下文,但其向量会变成多个主题的混合,对窄问题的排序效果变差。分块策略的工作,就是为每类文档找到一个同时满足两种需求的边界。
最后,分块还与流水线的其他环节相互影响:包括嵌入模型的输入长度上限、传给生成器的块数量、用户看到的引用格式,以及文档变更的频率。在笔记本里看起来很干净的分块设计,一旦每月要更新上千份政策文档,维护成本可能会变得很高。
常见错误:导致静默失败的做法
**按字符或词元数固定切分。** 这是许多入门套件的默认设置。它快速且可预测,但会切断句子、把标题与正文分开,还可能把一行表格拆到两个块中。系统依然会返回结果,这正是失败难以察觉的原因。
**忽略文档结构。** 标题、章节编号、列表层级和表格边界都承载着含义。如果在分块前把它们压平成纯文本,检索器就失去了判断段落主题的线索。
**所有来源使用同一设置。** 聊天记录、法律条款、FAQ 条目和工程规格的自然长度各不相同。一个全局统一的块大小通常只适合其中一种,却会损害其余几种。
**丢弃元数据。** 没有文档标题、版本日期、负责部门和章节路径的块,既难过滤,也难引用。当同一份政策的两个版本并存时,系统可能会非常自信地引用过时的版本。
**凭感觉调参。** 团队常常只调整一次块大小,读了三个看起来更好的答案就宣布成功。如果没有固定的测试集,就无法知道这次改动是帮助了常见问题,还是破坏了少见但重要的问题。
如何选择适合文档的分块策略
从文档出发,而不是从工具出发。把语料分成三到四类,并人工检查每类的样本。记下自然单元在哪里:条款、流程步骤、表格行、问答对、故障排查案例。这些就是候选边界。
对大多数企业语料来说,结构感知的方法比固定窗口更有效。先按标题或章节标记切分,再按段落切分,只有当某个章节仍然过长时才退回到长度限制。表格在能放下时尽量保持完整;如果表格过大,就在每个拆分部分重复表头行,使每个块都可以被独立理解。对于基于条款的文档,要把条款编号及其上级标题保留在块的正文中,而不仅仅放在元数据里,因为嵌入模型读取的是文本本身。
在相邻的正文块之间加入少量重叠,通常是一两句话。重叠并不能弥补边界设计不好的问题,但可以降低条件与其后果被分到不同块中的概率。应避免过大的重叠,它会膨胀索引,并让同样的文字在许多结果中重复出现。
在块级别附加元数据:来源名称、版本或生效日期、部门、文档类型和章节路径。在语义排序之前,先用这些字段做过滤。如果用户询问当前的差旅政策,系统不应让新旧版本在同一个排序池中相互竞争。
实践中一个有用的做法是,在同一语料上运行两到三种候选策略,并用相同的问题进行比较。保留在最难的文档类型上表现最好的那一种,即使它在其他地方不够优雅。如果团队希望在不从零搭建评估框架的情况下进行这类并排比较,可以使用 Duaer 搭建流程,用自己的文档测试各种变体。这是一个可行的选项,但仍应从成本、可控性和数据处理等方面,与现有工具进行对比。
如何衡量分块是否有效
真正重要的指标不是答案听起来如何,而是正确的证据是否到达了生成器。从支持工单、员工聊天记录和领域专家那里收集 50 到 150 个真实问题,建立黄金问题集。对每个问题,记录应当被检索到的一个或多个段落。
然后衡量三件事。第一,检索召回率:正确段落出现在前几名结果中的频率。第二,上下文充分性:检索到的块是否包含完整回答所需的条件和例外,这在初期通常需要人工审核。第三,引用准确性:所引用的来源和章节是否真正支持该结论。
按文档类型拆分这些指标。平均分可能掩盖一个事实:法律条款失败得很严重,而 FAQ 表现良好。同时要追踪文档更新后的失败情况,因为某个版本有效的块边界,在格式变化后可能发生偏移。
最后,每周抽查一批错误答案并归类原因。如果大多数错误来自被切断的表格或缺失的标题,问题在分块;如果检索到了正确的块但模型忽略了它,问题则在提示词或生成环节。这种归类能避免团队在错误的层面上花费一个月的时间。
本周可以做什么
选择一个对真实业务流程最重要的文档类型,例如 HR 政策或产品故障排查指南。收集用户就该类文档提出的二十个真实问题。导出当前的块,人工检查其中十个:标题是否附着、表格是否完整、版本日期是否存在、每个块单独看是否说得通?记录三种最常见的失败。
然后针对该文档类型设计两套替代分块规则,一套结构感知,一套采用不同的长度限制,并让同样的二十个问题分别跑一遍。保留能提供更完整证据的那一套,然后再扩展到下一种文档类型。
如果你希望按照书面计划走一遍这个场景,可以在 Duaer 注册,用同样的流程测试你自己的文档。
分块不是可以交给别人然后就忘掉的预处理细节。它决定了模型被允许看到什么;一个看不到正确条款的 RAG 系统,不会因为有了更好的提示词就得救。
告诉我们你的应用场景,我们会回传一份书面的落地路线:https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8
常见问题
RAG 分块应该按固定字数切分吗?
固定长度切分上手快,但容易切断句子、分开标题与正文,甚至拆散表格行,而系统依然会返回结果,问题因此难以察觉。更稳妥的做法是先按标题、条款和段落等结构切分,只有在章节仍然过长时才使用长度上限,并保留必要的元数据。
如何判断当前的分块策略是否有效?
建立一个由 50 到 150 个真实问题组成的黄金问题集,为每个问题记录应当检索到的段落,然后衡量检索召回率、上下文是否充分以及引用是否准确,并按文档类型分别统计。
表格和法律条款在分块时要注意什么?
表格尽量保持完整,过大时在每个拆分部分重复表头;条款应把编号和上级标题写进块的正文,因为嵌入模型读取的是文本本身,仅放在元数据中是不够的。