> For the complete documentation index, see [llms.txt](https://doc.duaer.com/zh/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://doc.duaer.com/zh/guides/rag-chunking-strategies-github.md).

# RAG 分块策略 GitHub 2027：在更换模型之前先修复检索

本文整理自 Duaer 文档站，讨论企业 RAG 项目中文档分块为何常常是效果不佳的根源，比较常见分块策略的取舍，并给出评估与落地的实用做法。

## 为什么分块比看起来更难

很多让人失望的企业 RAG 项目，并不是因为模型不够强，而是因为文档被切成了失去原意的碎片。团队在 GitHub 上找到一个分块脚本，对内部知识库跑一遍，接上向量数据库，用三个测试问题验证，回答都正确，于是觉得可以上线。两周后，同一个系统可能会自信地引用错误的政策版本，或者说找不到明明在 PDF 里的某条条款。第一反应往往是换一个更大的模型，但多数情况下，真正的问题出在上游：分块。

分块听起来只是预处理的小细节，实际上它决定了检索器最终能找到什么。语言模型只能看到检索器返回的分块。如果一个分块只包含规则的一半，而例外条款落在下一个分块里，无论模型多强，都无法对这个例外进行推理。

## 常见策略及其短板

企业文档的情况会让这个问题更严重。合同依赖前面页面中定义的术语；产品手册把型号放在页眉，把规格放在表格里；会议纪要中的一个决定，只有结合上方的议程才能读懂。只按字符数切分的工具会把这些内容当成同一类文本处理，答案的偏差就从这里开始。

大多数开源仓库只实现了少数几种方法。与其记住名字，不如理解它们各自的取舍。

固定长度切分：每隔 N 个 token 切一次，通常带有重叠。它简单、可预测，适合作为基线方案。缺点是忽略文档结构，经常把表格或编号步骤从中间切断。

递归切分：优先按段落切，其次按句子，最后按字符。它是社区代码中最常见的默认方案，在结构清晰的正文上效果不错，但它并不知道标题管辖着其下的段落。

结构感知切分：利用标题、章节、列表项或页面版式来确定边界。对于政策、手册和受监管文档，这通常是最好的起点，因为作者本来就已经把内容组织成了有意义的单元。缺点是它依赖解析质量：如果 PDF 解析器压平了分栏或丢失了标题层级，结构感知逻辑也会继承这些错误。

语义切分：根据向量相似度对句子分组，在主题切换处设置边界。这听起来很有吸引力，但运行成本更高，更难调试，而且边界不一定容易向审核人员解释。团队通常在固定长度基线失败之后才采用它，并且只有当基线失败确实源于主题混杂时，改进才是真实的。

父子结构或小到大检索：用小分块做精确匹配，然后返回它们所属的更大章节。对企业知识库而言，这往往是最实用的模式，因为它把“用什么来匹配”和“模型应读取多少上下文”两个问题分开了。

## 演示中看似合理的常见错误

第一个错误是照搬默认值。示例仓库中的分块大小是为示例文档选的，而不是为你的合同、工单或产品规格选的。应当把任何默认值都当作待验证的假设。

第二个错误是所有文档类型都用同一种策略。常见问题解答、一份 200 页的法规和一张价格表格不应使用同一个切分器。即使第一版只处理三类文档，也应该按文档类型路由。

第三个错误是针对演示集调参。如果团队只用开发人员已经知道答案的五个问题来选择分块大小，那么系统优化的是团队的记忆，而不是员工下个月会提出的问题。

第四个错误是丢弃元数据。没有来源标题、章节路径、生效日期、版本号和访问权限的分块，无法被过滤、引用或审计。在企业环境中，缺失的权限字段往往代价最高，因为它会把检索缺陷变成数据泄露问题。关于这些构建阶段陷阱的更全面讨论，可参阅[企业 RAG 知识库建设指南](https://doc.duaer.com/zh/guides/enterprise-rag-knowledge-base-build/)。

## 用检索效果评估分块，并持续运行评估闭环

外观整洁的分块，在检索中可能毫无用处。正确的检验方式是：对于正确的问题，是否返回了正确的分块；模型的回答是否有该分块作为依据。

先建立一个黄金问题集，包含 50 到 150 个来自真实使用者的问题，每个问题配一段应当作答的原文段落。要包含一些棘手的问题：跨越两个章节的问题、使用旧术语的问题，以及正确答案是“政策未作规定”的问题。

然后先在检索层面评估。统计标准段落是否出现在前 k 个结果中，以及它排在第一位的频率。只有检索稳定之后，才应评估生成环节，检查每个回答是否有检索到的文本支撑。如果检索召回率很低，更换模型并不能解决问题。

每当切分器、嵌入模型或源语料发生变化时，都应重新运行这套问题集。分块调整常常只对某一类文档有帮助，却悄悄损害另一类文档的效果，只有固定的测试集才能让这种问题显现出来。

分块策略也不是一次性设置。文档会变化，新团队会添加数据源，用户会问出最初测试集没有覆盖的问题。建议每月从线上日志中复盘失败的检索，把真实失败案例补充进黄金问题集，并检验当前策略是否依然成立。大部分价值来自这个反馈闭环，而不是最初选择了哪个切分器。

## 采用 GitHub 分块工具前的评估

开源切分器是很好的起点，但它是你将要自己维护的代码。在采用之前，建议检查四件事。第一，许可证，以及它是否允许你的内部使用而不会产生意外问题。第二，维护活跃度：近期提交、关于解析边缘情况的未关闭 issue，以及作者是否回应。第三，解析依赖：很多分块工具的效果取决于底层的 PDF、Word 或 HTML 解析器，而这些解析器在扫描页面、多栏版式和嵌入表格上经常出错。第四，输出格式：它能否输出章节路径、页码和自定义元数据，还是只返回纯文本。

如果分块工具无法保留元数据，就在外面包一层。一个轻量的封装层，为每个分块附加来源、章节、版本和访问标签，其价值远高于一个丢弃这些信息的复杂切分算法。把流水线视为可替换部件链、而不是一个整体库的团队，之后更容易更换策略。解析、分块、索引和检索之间的衔接点，是很多项目停滞的地方，[RAG 集成断点解析](https://doc.duaer.com/zh/guides/enterprise-rag-solution-integration/)一文逐一梳理了常见问题。

## 本周可以做什么

选一类价值较高的文档，例如产品手册或人事政策，在其上比较两种分块方案：固定长度基线，以及尊重标题的结构感知方案。用真实员工提出的问题建立一个 50 题的黄金集，分别记录两种方案前 5 个结果的召回率，并写下仍然存在的失败案例。在测试其他任何内容之前，先为每个分块附加来源和章节元数据。这个小练习带来的启发，会比任何仓库 README 上的排行榜都更多。

如果你希望无需自行组装每个组件，也能完成这类分块与检索对比，可以直接在 [Duaer](https://www.duaer.com) 上测试这套流程。注册后即可配置文档数据源、用自己的问题比较切分规则，并在正式确定流水线之前看清检索在哪里会失效。分块策略归根结底是关于你自己文档的问题，经过测试的规则集胜过照搬来的默认值。

如果你告诉我们你的业务场景，我们会回复一份针对该场景的书面落地路线。提交入口：https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8

## 常见问题

### RAG 分块应该选固定长度、递归还是结构感知切分？

如果文档有清晰的标题和章节结构，例如政策、手册和受监管文件，通常结构感知切分是最好的起点。固定长度切分适合作为可预测的基线，递归切分是社区代码中的常见默认值。无论选哪种，都应通过自己的黄金问题集进行检验，而不是直接沿用示例仓库的默认参数。

### GitHub 上的开源分块脚本可以直接用于企业内部文档吗？

可以作为起点，但需要先检查许可证、维护活跃度、底层解析器的质量以及是否能输出章节路径、页码和自定义元数据。如果脚本无法保留元数据，应在外层封装一层，为每个分块附加来源、版本和访问权限标签，否则之后难以做过滤、引用和审计。

### 如何判断 RAG 系统的分块效果是否合格？

建议先建立 50 到 150 个来自真实使用者的黄金问题，并为每个问题标注应当命中的原文段落。先在检索层面统计标准段落是否出现在前 k 个结果中以及排名第一的比例，检索稳定后再评估生成答案是否有依据。每次切分规则、嵌入模型或语料变化后都要重新运行这套测试。

