指南
RAG 分块策略 GitHub 2027:在更换模型之前先修复检索
本文整理自 Duaer 文档站,讨论企业 RAG 项目中文档分块为何常常是效果不佳的根源,比较常见分块策略的取舍,并给出评估与落地的实用做法。
为什么分块比看起来更难
很多让人失望的企业 RAG 项目,并不是因为模型不够强,而是因为文档被切成了失去原意的碎片。团队在 GitHub 上找到一个分块脚本,对内部知识库跑一遍,接上向量数据库,用三个测试问题验证,回答都正确,于是觉得可以上线。两周后,同一个系统可能会自信地引用错误的政策版本,或者说找不到明明在 PDF 里的某条条款。第一反应往往是换一个更大的模型,但多数情况下,真正的问题出在上游:分块。
分块听起来只是预处理的小细节,实际上它决定了检索器最终能找到什么。语言模型只能看到检索器返回的分块。如果一个分块只包含规则的一半,而例外条款落在下一个分块里,无论模型多强,都无法对这个例外进行推理。
常见策略及其短板
企业文档的情况会让这个问题更严重。合同依赖前面页面中定义的术语;产品手册把型号放在页眉,把规格放在表格里;会议纪要中的一个决定,只有结合上方的议程才能读懂。只按字符数切分的工具会把这些内容当成同一类文本处理,答案的偏差就从这里开始。
大多数开源仓库只实现了少数几种方法。与其记住名字,不如理解它们各自的取舍。
固定长度切分:每隔 N 个 token 切一次,通常带有重叠。它简单、可预测,适合作为基线方案。缺点是忽略文档结构,经常把表格或编号步骤从中间切断。
递归切分:优先按段落切,其次按句子,最后按字符。它是社区代码中最常见的默认方案,在结构清晰的正文上效果不错,但它并不知道标题管辖着其下的段落。
结构感知切分:利用标题、章节、列表项或页面版式来确定边界。对于政策、手册和受监管文档,这通常是最好的起点,因为作者本来就已经把内容组织成了有意义的单元。缺点是它依赖解析质量:如果 PDF 解析器压平了分栏或丢失了标题层级,结构感知逻辑也会继承这些错误。
语义切分:根据向量相似度对句子分组,在主题切换处设置边界。这听起来很有吸引力,但运行成本更高,更难调试,而且边界不一定容易向审核人员解释。团队通常在固定长度基线失败之后才采用它,并且只有当基线失败确实源于主题混杂时,改进才是真实的。
父子结构或小到大检索:用小分块做精确匹配,然后返回它们所属的更大章节。对企业知识库而言,这往往是最实用的模式,因为它把“用什么来匹配”和“模型应读取多少上下文”两个问题分开了。
演示中看似合理的常见错误
第一个错误是照搬默认值。示例仓库中的分块大小是为示例文档选的,而不是为你的合同、工单或产品规格选的。应当把任何默认值都当作待验证的假设。
第二个错误是所有文档类型都用同一种策略。常见问题解答、一份 200 页的法规和一张价格表格不应使用同一个切分器。即使第一版只处理三类文档,也应该按文档类型路由。
第三个错误是针对演示集调参。如果团队只用开发人员已经知道答案的五个问题来选择分块大小,那么系统优化的是团队的记忆,而不是员工下个月会提出的问题。
第四个错误是丢弃元数据。没有来源标题、章节路径、生效日期、版本号和访问权限的分块,无法被过滤、引用或审计。在企业环境中,缺失的权限字段往往代价最高,因为它会把检索缺陷变成数据泄露问题。关于这些构建阶段陷阱的更全面讨论,可参阅企业 RAG 知识库建设指南。
用检索效果评估分块,并持续运行评估闭环
外观整洁的分块,在检索中可能毫无用处。正确的检验方式是:对于正确的问题,是否返回了正确的分块;模型的回答是否有该分块作为依据。
先建立一个黄金问题集,包含 50 到 150 个来自真实使用者的问题,每个问题配一段应当作答的原文段落。要包含一些棘手的问题:跨越两个章节的问题、使用旧术语的问题,以及正确答案是“政策未作规定”的问题。
然后先在检索层面评估。统计标准段落是否出现在前 k 个结果中,以及它排在第一位的频率。只有检索稳定之后,才应评估生成环节,检查每个回答是否有检索到的文本支撑。如果检索召回率很低,更换模型并不能解决问题。
每当切分器、嵌入模型或源语料发生变化时,都应重新运行这套问题集。分块调整常常只对某一类文档有帮助,却悄悄损害另一类文档的效果,只有固定的测试集才能让这种问题显现出来。
分块策略也不是一次性设置。文档会变化,新团队会添加数据源,用户会问出最初测试集没有覆盖的问题。建议每月从线上日志中复盘失败的检索,把真实失败案例补充进黄金问题集,并检验当前策略是否依然成立。大部分价值来自这个反馈闭环,而不是最初选择了哪个切分器。
采用 GitHub 分块工具前的评估
开源切分器是很好的起点,但它是你将要自己维护的代码。在采用之前,建议检查四件事。第一,许可证,以及它是否允许你的内部使用而不会产生意外问题。第二,维护活跃度:近期提交、关于解析边缘情况的未关闭 issue,以及作者是否回应。第三,解析依赖:很多分块工具的效果取决于底层的 PDF、Word 或 HTML 解析器,而这些解析器在扫描页面、多栏版式和嵌入表格上经常出错。第四,输出格式:它能否输出章节路径、页码和自定义元数据,还是只返回纯文本。
如果分块工具无法保留元数据,就在外面包一层。一个轻量的封装层,为每个分块附加来源、章节、版本和访问标签,其价值远高于一个丢弃这些信息的复杂切分算法。把流水线视为可替换部件链、而不是一个整体库的团队,之后更容易更换策略。解析、分块、索引和检索之间的衔接点,是很多项目停滞的地方,RAG 集成断点解析一文逐一梳理了常见问题。
本周可以做什么
选一类价值较高的文档,例如产品手册或人事政策,在其上比较两种分块方案:固定长度基线,以及尊重标题的结构感知方案。用真实员工提出的问题建立一个 50 题的黄金集,分别记录两种方案前 5 个结果的召回率,并写下仍然存在的失败案例。在测试其他任何内容之前,先为每个分块附加来源和章节元数据。这个小练习带来的启发,会比任何仓库 README 上的排行榜都更多。
如果你希望无需自行组装每个组件,也能完成这类分块与检索对比,可以直接在 Duaer 上测试这套流程。注册后即可配置文档数据源、用自己的问题比较切分规则,并在正式确定流水线之前看清检索在哪里会失效。分块策略归根结底是关于你自己文档的问题,经过测试的规则集胜过照搬来的默认值。
如果你告诉我们你的业务场景,我们会回复一份针对该场景的书面落地路线。提交入口:https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8
常见问题
RAG 分块应该选固定长度、递归还是结构感知切分?
如果文档有清晰的标题和章节结构,例如政策、手册和受监管文件,通常结构感知切分是最好的起点。固定长度切分适合作为可预测的基线,递归切分是社区代码中的常见默认值。无论选哪种,都应通过自己的黄金问题集进行检验,而不是直接沿用示例仓库的默认参数。
GitHub 上的开源分块脚本可以直接用于企业内部文档吗?
可以作为起点,但需要先检查许可证、维护活跃度、底层解析器的质量以及是否能输出章节路径、页码和自定义元数据。如果脚本无法保留元数据,应在外层封装一层,为每个分块附加来源、版本和访问权限标签,否则之后难以做过滤、引用和审计。
如何判断 RAG 系统的分块效果是否合格?
建议先建立 50 到 150 个来自真实使用者的黄金问题,并为每个问题标注应当命中的原文段落。先在检索层面统计标准段落是否出现在前 k 个结果中以及排名第一的比例,检索稳定后再评估生成答案是否有依据。每次切分规则、嵌入模型或语料变化后都要重新运行这套测试。