指南
文档解析流水线 2027:企业 AI 为何在模型之前就会失效
本文整理自 Duaer 文档站。企业 AI 项目的很多答案错误,根源往往在模型之前的文档解析环节。本文说明解析为何困难、常见错误与分阶段流水线设计,并给出质量度量和本周可执行的验证方法。
真正的痛点与解析的难点
当内部问答工具给出错误答案时,第一个怀疑对象通常是模型。团队会换模型、调提示词、加重排序。但真正的原因往往更靠前:合同里的付款表被打成一串乱码数字;两栏式制度文件被横向逐行读取,左右栏的句子被拼接在一起;每个页眉都被重复塞进每个切片;扫描的审批单从未做过 OCR,因此对系统而言它根本不存在。
文档解析流水线,是把原始文件(PDF、Word、幻灯片、扫描图片、电子表格、邮件)转换为干净、结构化文本的整条链路,使下游系统能够建立索引并进行推理。如果这条链路薄弱,后续每一步都会继承它的错误。到 2027 年,大多数正在推进检索或信息抽取项目的企业,都是吃过亏才意识到这一点的。解析器已不再是预处理的细节,而是产品准确率上限的一部分。
从外部看,PDF 像是一份文档;但其内部其实是一组绘制指令:放置在坐标上的文本片段、线条、图像和字体。通常并不存在可靠的段落、表格单元格或阅读顺序的概念。Word 文件虽然带有结构,但很多是手工排版的,用加粗文字伪装成标题。扫描件在识别运行之前根本没有任何文本。
企业文档之所以特别难处理,有三个特性。第一,版式承载含义:分栏、表格、脚注和侧边栏都会改变句子的正确读法。第二,同一业务事实会以多种格式、多个版本出现,流水线必须能处理重复内容和已被替代的旧稿。第三,文档携带访问权限。如果解析后的切片丢失了源权限,内容就可能泄露给不该看到它的人,质量问题由此变成合规问题。
团队常犯的四个错误
第一个错误是把解析当成一行库调用。默认提取器只对干净、单栏、基于文本的 PDF 有效,在其他情况下通常会悄无声息地失败。输出看起来合理,因此没人察觉,直到用户投诉。
第二个错误是按固定字符数切分。固定长度切分器会把表格从中间切断,把条款和其条件分开,把标题与它所统领的章节割裂。切片是合法的文本,却不是合法的语义单元。
第三个错误是丢弃结构。一旦标题、表格边界和页码被压平成一个字符串,系统就无法标注答案的出处,无法按文档类型过滤,也无法区分现行制度和已归档的旧制度。
第四个错误是只在最后才评估流水线。团队只看答案质量,从不检查解析器产出了什么。没有解析层面的检查,就无法区分检索失败与解析失败,于是会一直调错了层。
稳健流水线的样子
一条实用的流水线应包含清晰的不同阶段,且每个阶段都应产出可检查的输出。
首先是分类。判断每个文件是原生文本、扫描图像还是混合类型,并据此分流。原生文本走文本与版式提取器;扫描页面经 OCR 处理并输出置信度分数;电子表格走独立路径,因为单元格网格并不是散文。
其次是恢复版式。提取器应识别多栏页面的阅读顺序,检测表格并保持为行列结构,同时去除会污染每个切片的重复页眉页脚。保留标题层级,使每个章节都知道自己的上级章节。
然后按结构切分,而不只看长度。一个好的规则是:先按章节边界切分,尽可能保持表格完整,最后才应用长度上限。每个切片都应携带元数据:源文件、版本、日期、页码范围、章节路径、文档类型,以及从源系统继承的权限分组。
最后,将解析结果与原始文件引用一并存储,这样当解析库升级或文档被修正时,可以重新运行解析,而无需手动重新导入全部内容。
如何衡量解析质量
不要用单一的准确率数字来衡量解析。应从自己的文档中构建一个小型、有代表性的样本集:几百页,覆盖真正重要的格式,包括扫描印章、合并单元格和多栏报告等棘手情况。对每个样本,由审核人员标注你关心事项的预期输出:表格是否完整、阅读顺序是否正确、标题路径是否准确、版本是否正确、权限标签是否存在。
要分别统计错误类型。OCR 产生的一个错字,与表格被压平成散文,是不同的问题。按文档类别统计每种错误类型出现的频率,能告诉你精力应投向何处。通常少数几类文档占了大部分失败,修复它们带来的价值,远高于追逐通用基准。
还应把解析输出与用户真正提出的问题对照检查。如果最常见的查询涉及价格表或审批阈值,就要确保这些特定结构在解析后完整保留。一条在散文上得分很高、却弄坏表格的流水线,恰恰会在业务最需要的地方失败。
中期检查点与权限治理
当你拥有样本集和几种解析器配置后,就可以直接对比它们。此时像 Duaer 这样的平台可以帮助你把同一批文档分别送入不同的解析与切分路线,并并排检查输出结果,而不是只凭答案质量去猜。保留那些能保持表格和权限的路线,舍弃那些只在干净文本上看起来没问题的路线。已经在运行知识库项目的团队,可以把这项检查接入现有的检索测试,相关内容我们在企业 RAG 知识库搭建指南中有所讨论。无论使用什么工具,原则都是一样的:先验证解析器产出了什么,再去评判模型说了什么。
解析阶段最常丢失访问控制。流水线必须保留每段内容允许谁查看。如果源系统将一份合同限制给法务团队,解析后的切片就必须携带这一限制,检索时也必须强制执行。许多项目会把文本复制到共享索引中,之后才发现访问模型在传递过程中丢失了。应把权限继承作为解析的一项明确需求,并配有独立的测试用例,而不是等安全团队在评审时才去发现。跨数据源的数据就绪度同样重要,我们关于AI 数据就绪度的文章介绍了解析开始前应完成的上游检查。
本周可以做什么
选一个与当前业务问题直接相关的文档族,例如供应商合同、产品规格书或月度财务报告。收集其中三十到五十份真实文件,包括那些格式混乱的。用现有解析器处理它们,并逐个记录:表格是否完整、标题是否正确、版本是否清晰、权限标签是否保留。按失败类型统计数量。你很可能会发现,一两种失败类型就解释了用户看到的大部分错误答案。
然后只修改该文档族的解析环节,用同一批样本重新运行并对比。如果你不想自己搭建测试工具,可以访问 https://www.duaer.com 试用这一流程,并注册后用自己的文档进行测试。保留那些改善了表格和权限处理的路线,并记录被舍弃的原因,让下一个项目从证据出发,而不是从默认设置出发。
模型的可靠性,取决于它所读取的文本。先修好解析器,你原本准备归咎于模型的大部分质量问题,就会变得可见、可度量、可修复。
如果你希望为自己的场景获得一份书面的推进路线,包括先从哪些文档族开始以及如何测试,请告诉我们你的文档是什么样子,我们会回复一份书面方案:https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8
常见问题
企业 AI 问答效果差时,应该先检查模型还是先检查文档解析?
建议先检查解析环节。很多错误答案其实来自表格被打散、多栏内容读错顺序、页眉反复出现在切片中,或扫描件从未经过 OCR。先查看解析器的实际输出,能区分是检索问题、解析问题还是模型问题,避免在错误的层级上反复调参。
如何判断 PDF 或 Word 文档在解析后是否可靠?
可以从自己的业务文档中抽取一个有代表性的样本集,由审核人员逐项检查:表格是否完整、阅读顺序是否正确、标题路径是否准确、版本是否正确、权限标签是否保留。并按错误类型和文档类别分别统计,找出导致大部分失败的文档族,优先修复。
文档切分应该按固定长度还是按结构进行?
更推荐按结构切分。先按章节边界切分,尽量保持表格完整,最后再应用长度上限,并为每个切片保存源文件、版本、日期、页码范围、章节路径、文档类型和权限分组等元数据。这样切片才是有意义的语义单元,也便于引用来源和做权限控制。