> For the complete documentation index, see [llms.txt](https://doc.duaer.com/zh/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://doc.duaer.com/zh/guides/rag-chunking-strategy.md).

# RAG 分块策略 2027：检索开始之前，答案就已经出错

本文整理自 Duaer 文档站，围绕企业 RAG 系统的分块策略展开，说明切分方式如何决定检索质量与答案准确性，并给出分块选择、效果评估与本周可落地的实践步骤。

## 真正的痛点：RAG 系统的上限取决于分块质量

大多数构建检索增强生成（RAG）系统的企业团队，前几周的精力都放在模型、向量数据库和提示词上。分块环节是在文档嵌入之前把长文档切成片段的步骤，通常直接使用默认设置，很少被重新审视。于是试点开始给出“差一点就对”的答案：政策编号错了一条款，流程漏掉了关键例外，或者助手引用了表格表头，却没有给出对应的那一行。

问题很少出在语言模型上。当检索返回了错误的片段，或者片段缺少回答所需的上下文时，再怎么调整提示词也无法完全修复。如果你已经读过我们关于[为什么企业 RAG 知识库经常无法给出准确答案](https://doc.duaer.com/zh/guides/enterprise-rag-knowledge-base-build/)的整理，就会对这种模式很熟悉。分块是上游的决策，它会悄悄为后续所有环节设定上限。

## 为什么分块比看上去更难

企业文档并不统一。供应商合同有相互引用的编号条款；产品手册混合了正文、表格、警示框和示意图；内部 wiki 页面可能只有三段话，也可能是三十屏的嵌套列表。单一的块大小无法同时兼顾所有这些结构。

精确性与上下文之间也存在张力。小块嵌入干净，匹配具体问题的效果好，但常常丢失改变含义的周边条件；大块保留了上下文，但其向量会变成多个主题的混合，对窄问题的排序效果变差。分块策略的工作，就是为每类文档找到一个同时满足两种需求的边界。

最后，分块还与流水线的其他环节相互影响：包括嵌入模型的输入长度上限、传给生成器的块数量、用户看到的引用格式，以及文档变更的频率。在笔记本里看起来很干净的分块设计，一旦每月要更新上千份政策文档，维护成本可能会变得很高。

## 常见错误：导致静默失败的做法

**按字符或词元数固定切分。** 这是许多入门套件的默认设置。它快速且可预测，但会切断句子、把标题与正文分开，还可能把一行表格拆到两个块中。系统依然会返回结果，这正是失败难以察觉的原因。

**忽略文档结构。** 标题、章节编号、列表层级和表格边界都承载着含义。如果在分块前把它们压平成纯文本，检索器就失去了判断段落主题的线索。

**所有来源使用同一设置。** 聊天记录、法律条款、FAQ 条目和工程规格的自然长度各不相同。一个全局统一的块大小通常只适合其中一种，却会损害其余几种。

**丢弃元数据。** 没有文档标题、版本日期、负责部门和章节路径的块，既难过滤，也难引用。当同一份政策的两个版本并存时，系统可能会非常自信地引用过时的版本。

**凭感觉调参。** 团队常常只调整一次块大小，读了三个看起来更好的答案就宣布成功。如果没有固定的测试集，就无法知道这次改动是帮助了常见问题，还是破坏了少见但重要的问题。

## 如何选择适合文档的分块策略

从文档出发，而不是从工具出发。把语料分成三到四类，并人工检查每类的样本。记下自然单元在哪里：条款、流程步骤、表格行、问答对、故障排查案例。这些就是候选边界。

对大多数企业语料来说，结构感知的方法比固定窗口更有效。先按标题或章节标记切分，再按段落切分，只有当某个章节仍然过长时才退回到长度限制。表格在能放下时尽量保持完整；如果表格过大，就在每个拆分部分重复表头行，使每个块都可以被独立理解。对于基于条款的文档，要把条款编号及其上级标题保留在块的正文中，而不仅仅放在元数据里，因为嵌入模型读取的是文本本身。

在相邻的正文块之间加入少量重叠，通常是一两句话。重叠并不能弥补边界设计不好的问题，但可以降低条件与其后果被分到不同块中的概率。应避免过大的重叠，它会膨胀索引，并让同样的文字在许多结果中重复出现。

在块级别附加元数据：来源名称、版本或生效日期、部门、文档类型和章节路径。在语义排序之前，先用这些字段做过滤。如果用户询问当前的差旅政策，系统不应让新旧版本在同一个排序池中相互竞争。

实践中一个有用的做法是，在同一语料上运行两到三种候选策略，并用相同的问题进行比较。保留在最难的文档类型上表现最好的那一种，即使它在其他地方不够优雅。如果团队希望在不从零搭建评估框架的情况下进行这类并排比较，可以使用 [Duaer](https://www.duaer.com) 搭建流程，用自己的文档测试各种变体。这是一个可行的选项，但仍应从成本、可控性和数据处理等方面，与现有工具进行对比。

## 如何衡量分块是否有效

真正重要的指标不是答案听起来如何，而是正确的证据是否到达了生成器。从支持工单、员工聊天记录和领域专家那里收集 50 到 150 个真实问题，建立黄金问题集。对每个问题，记录应当被检索到的一个或多个段落。

然后衡量三件事。第一，检索召回率：正确段落出现在前几名结果中的频率。第二，上下文充分性：检索到的块是否包含完整回答所需的条件和例外，这在初期通常需要人工审核。第三，引用准确性：所引用的来源和章节是否真正支持该结论。

按文档类型拆分这些指标。平均分可能掩盖一个事实：法律条款失败得很严重，而 FAQ 表现良好。同时要追踪文档更新后的失败情况，因为某个版本有效的块边界，在格式变化后可能发生偏移。

最后，每周抽查一批错误答案并归类原因。如果大多数错误来自被切断的表格或缺失的标题，问题在分块；如果检索到了正确的块但模型忽略了它，问题则在提示词或生成环节。这种归类能避免团队在错误的层面上花费一个月的时间。

## 本周可以做什么

选择一个对真实业务流程最重要的文档类型，例如 HR 政策或产品故障排查指南。收集用户就该类文档提出的二十个真实问题。导出当前的块，人工检查其中十个：标题是否附着、表格是否完整、版本日期是否存在、每个块单独看是否说得通？记录三种最常见的失败。

然后针对该文档类型设计两套替代分块规则，一套结构感知，一套采用不同的长度限制，并让同样的二十个问题分别跑一遍。保留能提供更完整证据的那一套，然后再扩展到下一种文档类型。

如果你希望按照书面计划走一遍这个场景，可以在 [Duaer](https://www.duaer.com) 注册，用同样的流程测试你自己的文档。

分块不是可以交给别人然后就忘掉的预处理细节。它决定了模型被允许看到什么；一个看不到正确条款的 RAG 系统，不会因为有了更好的提示词就得救。

告诉我们你的应用场景，我们会回传一份书面的落地路线：https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8

## 常见问题

### RAG 分块应该按固定字数切分吗？

固定长度切分上手快，但容易切断句子、分开标题与正文，甚至拆散表格行，而系统依然会返回结果，问题因此难以察觉。更稳妥的做法是先按标题、条款和段落等结构切分，只有在章节仍然过长时才使用长度上限，并保留必要的元数据。

### 如何判断当前的分块策略是否有效？

建立一个由 50 到 150 个真实问题组成的黄金问题集，为每个问题记录应当检索到的段落，然后衡量检索召回率、上下文是否充分以及引用是否准确，并按文档类型分别统计。

### 表格和法律条款在分块时要注意什么？

表格尽量保持完整，过大时在每个拆分部分重复表头；条款应把编号和上级标题写进块的正文，因为嵌入模型读取的是文本本身，仅放在元数据中是不够的。

