> For the complete documentation index, see [llms.txt](https://doc.duaer.com/zh/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://doc.duaer.com/zh/guides/rag-best-chunking-strategy-2027.md).

# 2027 年 RAG 最佳分块策略：为什么固定长度切分会让答案出错

本文整理自 Duaer 文档站，解释企业 RAG 项目中分块（chunking）策略为何决定检索质量，并给出按文档类型选择切分方式、用检索指标评估效果以及保持分块可追溯的实践做法。

## 真正的痛点：好模型也会因为坏片段给出错误答案

大多数企业 RAG 项目失败，并不是因为语言模型不够强，而是检索环节把错误的文本片段交给了模型。一条政策条款被从中间切断，例外情况落在了另一个分块里，与它所修饰的规则分开了。一张表格的表头和数字被分到不同分块。产品手册的第 3 步被检索出来，却没有第 1 步和它前面的警告。模型于是基于不完整的证据自信地作答，团队则得出结论：AI 不可靠。

分块决定了检索系统最终能找到什么。团队常把它当作默认设置：选一个 token 数，加一点重叠，然后就不管了。这种默认做法在演示中还能应付，但一旦语料里包含合同、电子表格、扫描表单，以及不同部门编写的常见问题，效果就会悄悄下降。如果你正在搭建知识库，可以参考[如何搭建企业 RAG 知识库而不浪费投入](https://doc.duaer.com/zh/guides/enterprise-rag-knowledge-base-build/)，了解更完整的系统方案。本文聚焦对答案质量影响最大的一个决策：如何切分文档。

## 为什么不存在唯一的最佳分块长度

搜索「最佳分块策略」时，人们往往希望得到一个数字，比如一个在任何场景下都适用的固定 token 长度。但这个数字并不存在。当一个分块包含用户可能会提问的一个完整语义单元时，它就是好的分块。过短的分块精确，但可能缺少理解所需的上下文；过长的分块保留了上下文，却会稀释向量表示，使检索器把它匹配到许多查询上，却无法在任何一个查询中把它排到前列。

合适的长度取决于三件事：文档是什么类型、用户如何就该文档提问，以及模型正确作答需要多少上下文。一个 300 token 的分块对术语表可能是理想的，但对并购协议则毫无用处。因此，更有价值的问题不是「我们应该用多大的长度」，而是「最小的、仍然能独立回答一个真实问题的单元是什么」。

## 悄悄限制答案质量的常见错误

第一个错误是仅按字符数或 token 数切分。固定长度切分实现简单、容易理解，因此被广泛采用。但代价会在后期显现：一个句子、一个列表项或一行表格，可能与赋予它意义的词语被分开。

第二个错误是忽略文档结构。标题、编号条款、表格边界以及问答对，都是作者已经创建好的信号。丢弃这些信号、只按长度切分，等于扔掉了最可靠的边界信息。

第三个错误是把重叠当作万能药。重叠能降低句子在边界处丢失的概率，但它也会重复文本、增大索引体积，还可能让同一段落挤占前几名结果中的其他证据。重叠是应对特定失败情况的工具，不能替代合理的边界。

第四个错误是丢弃元数据。一个缺少文档标题、章节路径、生效日期、所属部门或版本号的分块，无法被正确过滤或引用。在受监管或变化频繁的内容中，这正是答案从有用变为危险的地方：模型可能引用一份已废止的政策，而审核人员无从察觉它已经失效。

## 从文档的实际阅读方式出发

一种实用的方法是在选择策略之前先对语料进行分类。大多数企业内容可归为几种类型，每种类型都对应不同的默认切分方式。

对于政策、员工手册和流程文件，应按标题和编号章节切分，并把标题路径保留为元数据，使分块读起来像「费用政策 > 差旅 > 审批额度」。对于合同，应按条款切分，并通过链接回定义章节的方式，让术语定义随时可查。对于常见问题和支持文章，应把每个问答对作为一个分块，因为这正是用户搜索的方式。对于表格，应让表头与每组行保持在一起，或将每一行存储为一条记录并重复列名。对于较长的技术手册，可采用层级式方法：用小分块建立索引以实现精确检索，但把所在的父章节返回给模型，让它看到前后的步骤和警告。

这种结构感知的方法比固定切分器需要更多工程投入，但它是值得的，因为分块边界与人类读者的阅读边界一致，检索出的文本也更容易核验。

在实践中，许多团队会先在同一文档集上测试两到三种候选策略，再做决定。一个有效的测试方法是：用同一份问题清单跑完每条流水线，然后人工检查排名靠前的分块。如果某个答案需要的文本横跨两个分块，那就是边界失败；如果检索到的分块内容正确，但太宽泛、难以快速阅读，说明切分单元过大。并排对比能让这些问题暴露出来。你可以在 [Duaer](https://www.duaer.com) 中搭建这类对比，无需从零开始构建评估框架，但仍应以你自己的文档和问题集来判断输出效果。

## 用检索指标衡量与保证可追溯

分块决策很容易凭感觉做出，但事后很难辩护。一个在三个问题上表现良好的演示，几乎说明不了其他三百个问题的情况。应将检索层与生成层分开衡量，这样你才能判断一个糟糕的答案究竟是因为找错了文本，还是因为模型误用了好的文本。

建立一个小型金标准集：收集真实问题，并为每个问题配上应当给出答案的段落。然后跟踪正确段落是否出现在前几名结果中、排在第几位，以及答案是否需要跨分块拼接的信息。这些指标会告诉你该调整什么：边界、分块长度、元数据过滤，还是检索器本身。当语料发生实质性变化时，应重新运行测试。例如合同新模板，或迁移到另一套文档系统，都可能让上个季度有效的分块策略失效。建议将分块配置视为带版本号的代码，并维护变更日志，以便answer质量突然下降时能追溯到具体改动。

设计分块时还要确保审核人员能够追溯到来源。每个分块都应携带文档 ID、版本、负责人、生效日期和章节路径。当模型给出引用时，引用应指向一个人可以打开并核对的位置。访问控制也应在这里落实：分块继承其来源文档的权限，因此无权查看薪酬政策的员工，不应在检索上下文中收到其内容。

可追溯性使分块从一项技术调整变为一种运营实践。它让事故复盘成为可能，也让知识团队能够修正源文档，而不是只在模型提示词里打补丁掩盖症状。

## 本周可以做什么

选择一个团队已经感到困扰的文档集合，收集大约 15 到 20 个人们真正会问的问题。导出它当前的分块，并为每个问题阅读排名前五的检索段落。标记出每一个答案不完整、被拆分到多个分块、或缺少日期或章节标题的情况。然后用结构感知的边界和元数据重建这一个集合，并用同样的问题重新测试。相比任何关于 token 数的通用规则，这一次小范围的前后对比会让你学到更多。

如果你希望获得一份针对自身文档和问题的书面路线方案，也可以与我们免费交流。前往 [https://www.duaer.com](https://www.duaer.com) 注册，在自己的语料上试用对比工作流。

告诉我们你的业务场景，我们会为你发送一份书面的落地路线方案。https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8

最佳的分块策略，是尊重文档的撰写方式和人们的提问方式的策略，而这一点只有通过测试才能确认。

## 常见问题

### 企业 RAG 文档应该按固定长度切分吗？

不建议只按字符数或 token 数固定切分。固定切分实现简单，但容易把句子、列表项或表格行与赋予其意义的上下文分开。更好的做法是先识别文档类型，再按标题、条款、问答对或表格结构等自然边界切分，并保留章节路径等元数据。

### 如何判断我们的 RAG 分块策略是否有效？

可以准备 15 到 20 个真实业务问题，为每个问题标注应当给出答案的段落，然后检查正确段落是否出现在前几名检索结果中、排名多靠前，以及答案是否需要跨分块拼接信息。将检索层与生成层分开评估，能更清楚地定位问题出在哪里。

### 为什么每个分块都需要保留文档元数据？

元数据包括文档标题、章节路径、生效日期、部门和版本号等，它们使分块可以被正确过滤、引用和核验。在政策等经常变化的内容中，缺少这些信息，模型可能引用已废止的规定，而审核人员无法及时发现。元数据也是落实访问控制的基础，分块应继承其源文档的权限。

