Duaer

指南

RAG 文档分块策略 2027:答案为何在检索之前就已出错

本文整理自 Duaer 文档站,探讨企业 RAG 系统中文档分块策略如何决定检索质量,涵盖结构感知切分、按问题类型匹配粒度、保留上下文元数据、表格与扫描页处理,以及如何衡量召回率。

问题往往在模型之前就已出现

大多数企业团队在构建检索增强生成(RAG)系统时,通常认为难点在于模型或向量数据库。但实际上,相当一部分错误或含糊的答案源于一个更不起眼的环节:文档在建立索引之前是如何被切分成片段的。例如,一条写着「退款在 30 天内可以办理,定制订单除外,定制订单遵循附录 B 中的合同」的政策,可能被切成两个块,一块包含规则,另一块包含例外。用户询问定制订单时,检索器返回的是第一块,模型便会自信地给出错误的规则。

分块策略决定了检索器究竟能找到什么。块太大会稀释信号,并用无关文本填满上下文窗口;块太小则会丢失让句子有意义的上下文。很多团队把它当作框架里的默认设置一带而过。等发现问题时,往往已经索引了数千份文档,并围绕错误的语义单位建好了评估集。

为什么固定长度分块是最常见的错误

许多教程的默认做法是每 500 或 1000 个 token 切一次,并保留一定重叠。这种方式实现简单、容易解释,因此传播很快。问题在于,业务文档并不整齐划一:产品手册有编号步骤,合同条款之间相互引用,支持工单库则是简短的问答对。固定窗口会无视这些边界。

典型表现是:答案看起来合理,但引用的文本只是部分相关。检索器找到的内容与问题有相同词汇,但片段缺少标题、表头或改变含义的条件。重叠只能略有帮助,无法解决结构性断裂。更好的做法是先尊重文档自身的结构:标题、章节、列表项、表格行和条款编号。只有当某一节仍然过长时,才进一步切分,并且优先在句子或段落边界处切分,而不是按任意字符数硬切。

让分块匹配问题类型

不同问题需要的粒度不同。「终止供应商合同的通知期是多久」通常只需要一条条款;「概括我们数据保留政策的风险态势」则可能需要整节甚至多节内容。如果两类问题使用同一种块大小,其中一类必然失败。

一种实用方法是:从用户或支持日志中抽取 50 至 100 个真实问题,并标注正确回答需要什么:一句话、一段、一节,还是跨文档的对比。你通常会发现,少数几类问题占了大部分流量,分块设计应围绕这些类型展开。例如,查找类问题可以使用短块加丰富的元数据;综合类问题则保留较大的父级章节,当子块不足以回答时,系统可以调取父级内容。

保留分块丢失的上下文

一个写着「阈值提高到 5000 件」的块,单独看几乎没有用处:是哪款产品?哪个地区?哪一年的政策?上下文正是在切分时最容易丢失的部分。解决办法是为每个块附加元数据和上下文标题,包括文档名称、版本、生效日期、章节路径和负责人。许多团队还会在嵌入前为每个块前置一段由模型生成的所在章节简短摘要,帮助检索器匹配用不同措辞提出的问题。

版本管理要格外小心。如果同一流程的三个版本没有清晰日期就同时存在于索引中,检索器会欣然返回过时的那一个。块级元数据可以按生效日期和访问权限进行过滤,这对权限控制同样关键。如果某个片段来自仅特定角色可读的人事文档,该限制必须在检索时一并保留。

将表格、图片和扫描页视为独立问题

多数分块指南聚焦于连续文本,但企业文档中充满了表格、图表和扫描表单。被拆到两个块中的表格会丢失表头,第二块中的每个数字都会变得含糊不清。把表格压平成纯文本,往往会得到语法上完整、却无法正确理解的句子。对表格而言,常见做法是让每一行与其表头保持在一起,或将表格存为结构化对象,并为检索生成一段自然语言描述。

扫描页在分块之前需要一个解析步骤,OCR 引入的错误会直接流入块中。如果检索到的文本出现奇怪字符或断裂的数字,应先检查解析环节,再怪罪分块器。许多分块问题其实是伪装成分块问题的解析问题。

如果你已经在运营内部知识库,分块工作最好与数据清理一同规划。AI 数据就绪度指南介绍了如何盘点文档来源,以及决定哪些内容应当被索引。这一决定应当早于任何块大小的选择。

如何衡量分块是否有效,以及本周可以做什么

分块质量如果不去测量,就是不可见的。建议先看检索指标而非答案质量。对每个测试问题,记录包含正确证据的块是否出现在前 k 条结果中,这就是 recall@k。它能把检索层与生成层隔离开来。如果召回率很低,再好的提示词工程也救不了答案。

其次看实际意义上的精确度:检索到的上下文中有多少真正需要?过长、杂乱的块可能取得不错的召回率,却用干扰信息淹没模型。最后按类别复盘失败原因:错误答案是由被切断的条款、缺失的版本信息、表格碎片,还是需要两个章节内容的问题导致的?每一类指向不同的修复方向。跳过这一步的团队往往随意调整块大小,然后纳闷为什么没有任何改进。

如果想从更宏观的角度了解 RAG 项目通常在哪里出错,企业 RAG 知识库建设指南详细梳理了常见陷阱,其中许多都可以追溯到这里描述的分块决策。

本周可以先选一个已经频繁产生支持问题的文档集合,例如产品手册或一组人事政策,做一次小规模分块审计。收集 30 个真实问题,标注每个问题所需的证据,检查当前分块如何切分这些证据,并统计有多少问题的关键证据被跨块拆散或缺少元数据。这个数字能告诉你分块是否是瓶颈。然后用基于结构的切分重建该集合,为每个块附加章节路径和生效日期,并让表格行与表头保持在一起。用同样的 30 个问题重新测试,对比前后的召回率。请保留这套测试集,当你接入更多数据源时,它将成为你的回归测试集。

如果希望端到端地运行这类分块流程,而无需手动拼接解析、索引和评估脚本,可以直接在 Duaer 中搭建,并用自己的文档进行测试后再决定是否全面推广。注册请访问 https://www.duaer.com。工具并不能替代你对文档的判断,但可重复的流程能让上述审计在数据源每次变化时都容易执行。如果你希望为自己的文档集制定具体方案,请告诉我们你的业务场景,我们将回复一份书面的落地路线:https://api.duaer.com/form/1fea7709-3f8a-47f7-b4e3-eb5fb90e3213

常见问题

企业 RAG 系统里,文档分块应该多大?

没有统一的固定数值。建议先按文档结构切分(标题、条款、表格行),仅在章节过长时再按句子或段落进一步切分,并用一批真实问题测试召回率,以确定最终参数。

为什么 RAG 检索到了相关内容,答案却仍然出错?

可能是切分把关键条件与规则分开,或者缺少版本、生效日期、章节标题等上下文,导致检索到的片段看似相关却并不完整。可以先检查正确证据是否出现在前 k 条检索结果中,再判断问题出在检索还是生成环节。

扫描件和表格在 RAG 中应该如何处理?

扫描件应先检查 OCR 解析质量,解析错误会直接传导到分块中;表格应让每一行与表头保持在一起,或存为结构化对象并生成自然语言描述,避免表头丢失后数字含义不清。