指南
RAG 分块策略 2026-2027:调优之前如何判断优劣
本文整理自 Duaer 文档站,围绕企业 RAG 知识库的分块策略,讲解如何根据文档结构选择切分方式、如何用评测集量化效果,以及哪些常见做法应当停止。
为什么分块比看起来更难
许多团队在搭建检索增强生成(RAG)系统时,都会遇到同一个瓶颈:语言模型表现尚可,检索器也能返回看似相关的内容,但回答始终抓不住重点。问题的根源往往不在嵌入模型或大语言模型,而在于索引之前,源文档是如何被切成片段的。分块是一个看似不起眼却决定检索器最终能找到什么的关键决策。
搜索 2026 年的 RAG 分块策略,你会在各处看到同样的清单:固定长度切分、递归切分、语义切分,以及按标题等结构切分。清单本身并不难,难的是判断哪种策略适合你的文档、如何验证它是否真的有效,以及哪些习惯应该放弃。
分块必须同时满足两个方向相反的要求:片段要足够小,才能与问题精确匹配;又要足够大,才能携带回答问题所需的上下文。如果一个片段把政策例外条款和它所修改的政策主体切开,检索器会很有把握地召回它,却给出错误答案;如果片段过大,嵌入向量就会混杂三个主题,失去焦点。
文档类型越多样,难度越高。产品手册、已签署的合同、表格导出文件、会议记录和代码仓库,各自的天然语义单元都不同。用同一种切分器处理所有文件,是试点在演示数据集上效果很好、到了真实文件上却明显下降的最常见原因。
对策略清单的三个常见误读
第一个误读是把策略按“高级程度”排序。语义切分听起来比固定长度切分更先进,于是团队默认采用。实际上,对格式良好的文档,一个简单的结构感知切分器往往优于复杂的语义方法,因为文档本身的标题已经编码了人类会选择的边界。复杂度并不会自动转化为效果。
第二个误读是直接照搬框架教程中的默认参数。教程参数是为了让演示看起来整洁而选择的,并非为了适配你的语料。片段长度、重叠量和分隔符都应被视为需要检验的假设,而不是既定事实。
第三个误读是只用几个问题来判断效果。五六个精心挑选的问题几乎总会看起来没问题,但它们无法暴露真实用户提出模糊问题时,或答案横跨两个章节时才会出现的失败模式。
用三层指标正确读取信号
评估分块策略时,不要只依赖一个综合分数,而应拆成三层来看。第一层是检索:对每个测试问题,包含答案的段落是否出现在前几名结果中,排在第几位。第二层是答案忠实度:在给定检索文本的情况下,生成的答案是否始终没有超出原文的内容。第三层是失败分布:哪些文档类型、章节或提问方式最常失败。
真正的决策依据通常来自第三层。某个策略平均看起来略逊一筹,却可能在对你的业务最关键的文档类型上明显更好。另外,比较不同语料或不同测试集上的数字时要格外谨慎。公开基准的分数对你的合同或维护日志几乎说明不了什么。只有在相同数据、相同问题上运行的比较,才有意义。
让策略匹配文档结构
一个务实的起点,是把每类文档映射到它天然具有的语义单元上。层级清晰的手册和知识库适合按标题层级切分,并把标题路径保留在每个片段中。带编号条款的政策和合同适合按条款切分,因为一条条款及其例外,正是读者会引用的单位。较长的叙述性报告适合带少量重叠的递归切分,这样在边界处被截断的句子,仍能与其相邻内容一同出现。表格需要特殊处理:保持行的完整性,并重复表头,否则检索器会返回一个数字,却不知道它衡量的是什么。源代码最好沿函数或类的边界切分。
关键不在于寻找一个通用答案,而在于为每一个主要文档集明确写出“正确的片段应该是什么样”,然后选择那种在大多数情况下能产出这种形态的切分器。
建立小型评测集,并为每个分块保留上下文元数据
要做出良好的决策,并不需要庞大的基准测试。从未来使用系统的人那里收集几十个真实问题,并为每个问题标出能正确回答它的段落。然后,在两到三种分块策略下运行同样的检索步骤,记录正确段落在结果中的位置。失败时,标注原因:答案被切分到多个片段中、片段缺少标题、表格丢失了表头,或者措辞与嵌入匹配差异太大。
这份带标注的清单比任何公开排名都更有价值,因为它告诉你下一步应该修复什么。每次改动之后都要重跑同一套问题,让改进是被测量出来的,而不是想当然的。如果你不想为这类并排比较自行拼接脚本,也可以在 Duaer 中搭建同样的“分块—检索”流程,并用自己的问题集运行。结果应当依据上文所述的方法来判断,而不是依据本文的任何结论。
另一个容易被忽视的问题是元数据。一个进入模型时不带来源标题、章节路径、文档日期和访问权限标签的片段,会引发两类问题。第一类是错误回答:已被取代的旧政策条款,与现行条款看起来完全一样。第二类是数据泄露:受限文档中的片段,可能被不该看到它的用户检索到。应在建立索引时就附加元数据,并把标题路径拼接到片段文本前面,让嵌入向量和模型都能看到上下文。跳过这一步的团队,通常要等到用户反馈说“答案从技术上检索到了,但对他的角色来说是错的”时,才会发现问题。
应当停止的做法与本周可以先做的一步
有几种习惯会白白浪费精力。第一,在清理源文档之前就去调整分块大小。重复的页眉、损坏的 PDF 文本和零散的页码,会扭曲每一个结果。第二,不加区分地到处添加重叠,因为这会膨胀索引,还可能让近似重复的段落挤掉正确的那一条。第三,在不重跑同一套评测集的情况下切换策略,因为一个“感觉更好”的改动,往往只是换了一组失败案例而已。
许多这类症状看起来像是模型质量问题,但其根源通常是更上游的构建决策。我们关于企业 RAG 知识库为何给出不准确答案的指南,更详细地梳理了这些上游原因:https://doc.duaer.com/zh/guides/enterprise-rag-knowledge-base-build/
本周可以先做一件事:选一个高价值的文档集,例如某一本产品手册,或某一类合同。收集当前使用者提出的二十到三十个真实问题。对该文档集运行两种分块策略,记录每个问题正确段落的排名,并写下三个最常见的失败原因。把结果分享给负责这些文档的团队,因为他们最清楚哪些失败真正重要。然后基于这些证据决定下一步改动。
最合适的分块策略,是你自己的真实问题所证明有效的那一个,而不是教程页面最上方的那一个。如果你的团队准备好在真实文档上运行这样的比较,可以访问 https://www.duaer.com 注册并试用该流程。请把它当作一个需要依照上述方法加以检验的产品,而不是一个中立的结论。
如果您告诉我们团队想要索引哪些类型的文档、需要回答哪些问题,我们会为该场景回复一份书面的落地路线。欢迎提交您的场景:https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8
常见问题
RAG 分块应该切多大?
没有放之四海而皆准的固定大小。应先依据文档的天然结构(标题、条款、函数等)确定语义单元,再用自己的真实问题对几种片段长度做对比测试。长度和重叠量都应被视为需要验证的假设,而不是直接照搬教程默认值。
如何判断某种分块策略在企业文档上是否有效?
建议从三层看:检索层,正确段落是否出现在前几名结果中以及排名位置;答案忠实度层,生成答案是否严格基于检索到的文本;失败分布层,哪些文档类型、章节或提问方式最常失败。同时要用同一批真实问题在相同数据上进行比较,不要依赖公开基准分数。
RAG 回答不准确,应该先调分块还是先换模型?
通常应先检查源文档清理情况和分块方式。重复页眉、损坏的 PDF 文本、表格丢失表头、缺少标题路径等问题,往往比模型本身更容易造成错误回答。在清理数据并建立评测集之前,不建议频繁更换模型或策略。