dots.ocr：小红书开源的一款基于视觉语言模型(VLM)的多语言文档解析工具

dots.ocr是什么

dots.ocr 是由小红书hi lab团队开发并开源的一款基于视觉语言模型(VLM)的多语言文档解析工具，它通过统一的模型架构实现了文档布局检测与内容识别的一体化处理。作为2025年开源社区的重要技术贡献，dots.ocr以其1.7B参数的"小模型"规模，在OmniDocBench等多个基准测试中取得了业界领先(SOTA)的性能表现。该项目突破了传统OCR系统依赖多模型流水线的局限，采用单一视觉语言模型完成从文档结构分析到文字识别的全流程任务，显著提升了处理效率并降低了系统复杂度。

dots.ocr的核心创新在于将传统上分离的文档布局检测(Document Layout Analysis)和光学字符识别(OCR)任务统一到一个端到端的框架中。这种设计不仅简化了处理流程，还通过提示词(prompt)工程实现了任务间的灵活切换，无需更换模型即可适应不同的文档处理需求。项目名称中的"dots"寓意着模型能够精准捕捉文档中的每个文字"点"，并将其转化为结构化数据，而"ocr"则表明了其光学字符识别的本质功能。

功能特色

dots.ocr作为新一代文档解析工具，具备多项突破性功能，使其在开源OCR社区中脱颖而出：

多语言解析能力：dots.ocr在小语种文档处理上展现出卓越性能，在团队内部的多语言文档基准测试中，无论是布局检测还是内容识别均取得显著优势。项目特别优化了中文(ZH)和英文(EN)的识别效果，同时在法语、德语、西班牙语等语言上也保持高准确率，弥补了开源社区在多语言OCR领域的空白。测试数据显示，其在复杂排版的多语言混合文档中仍能保持良好的识别顺序和结构理解能力。

统一任务架构：传统文档解析通常需要串联多个专用模型，如先使用YOLO系列模型进行区域检测，再调用OCR模型识别内容，最后通过规则或小模型重整阅读顺序。dots.ocr创新性地采用单一视觉语言模型统一这些功能，仅通过更改输入提示词即可切换不同任务模式。例如，使用"全量解析"prompt可获得完整文档结构与内容，而"检测only"prompt则只输出布局框信息，这种设计大幅简化了工程实现复杂度。

高效性能表现：基于17亿参数的基础模型构建，dots.ocr在保持轻量化的同时实现了超越更大规模模型的推理速度。相比动辄数十亿甚至上百亿参数量的闭源VLM方案(如豆包-1.5、gemini2.5-pro等)，1.7B的模型规模使其更适合实际部署场景，特别是在资源受限的环境中仍能保持高效运行。基准测试表明，其处理速度比同精度级别的传统方案快3-5倍。

结构化输出能力：dots.ocr不仅能识别文字内容，还能自动分析文档的逻辑结构，将文本、表格、公式等元素分类并保持原始阅读顺序。这一特性使其特别适合文档数字化场景，用户无需额外处理即可获得可直接编辑的结构化数据。项目在OmniDocBench基准的文本、表格和阅读顺序三项指标上均达到SOTA水平，公式识别效果也可媲美专业数学OCR系统。

专业领域强化：针对文档解析中的难点，dots.ocr进行了专项优化。其表格识别支持复杂跨行列结构，公式解析兼容LaTeX和MathML格式输出，多语言混合段落能自动识别语言边界并保持上下文连贯。这些特性使其在学术论文、技术文档等专业场景中表现尤为突出。

技术细节

架构设计

dots.ocr采用三阶段训练流程构建的视觉语言模型架构，巧妙平衡了视觉理解与语言生成能力：

视觉编码器：基于120M参数的dots.vit视觉Transformer，采用NaViT动态分辨率架构支持高达1100万像素的高分辨率输入。这一设计使模型能够处理高DPI的扫描文档而不丢失细节，同时通过动态分辨率机制优化计算资源分配。编码器预训练阶段使用了包含OCR、视频和定位数据(grouding data)的多样化视觉数据集，确保了对文档图像的强特征提取能力。

语言模型：选用Qwen2.5-1.5B作为基础语言模型，与视觉编码器对齐后形成完整的VLM架构。这种中等规模的模型选择既保证了语言理解和生成质量，又避免了超大模型的计算开销。在字符级识别任务中，模型展现出对相似字符(如"0"与"O"、"1"与"l")的强区分能力，这得益于语言模型对上下文的理解补偿了单纯视觉特征的不足。

任务统一接口：dots.ocr创新性地通过提示词工程实现多任务统一，不同功能如全量解析、检测only、公式提取等，仅需更换输入prompt即可切换。这种方法避免了传统多模型方案的任务切换开销，也简化了终端用户的使用难度。模型内部通过自注意力机制动态分配视觉与语言权重，在面对不同prompt时自动调整特征提取重点。

训练策略

dots.ocr的训练过程体现了数据飞轮与渐进式学习的先进理念：

三阶段预训练：

1. 视觉编码器预训练：从零开始训练120M参数的视觉编码器，使用大规模图文对数据集建立基础视觉理解能力。

2. 多模态对齐：将预训练的视觉编码器与Qwen2.5-1.5B语言模型结合，在OCR、视频和定位数据等多样化视觉数据上进行持续预训练，形成通用视觉编码器dots.vit。

3. 专注OCR训练：使用纯OCR数据集进行最终训练，先冻结视觉编码器参数训练语言部分，再放开全部参数进行端到端微调，产出最终模型dots.ocr.base。这种分阶段解冻策略有效提升了训练效率和模型质量。

监督微调(SFT)：

• 构建了包含数十万样本的多样化SFT数据集，整合人工标注数据、合成数据(表格、公式、多语言OCR)及开源数据集。

• 实施迭代式数据飞轮：通过三次迭代循环，筛选模型表现的"坏样本"(bad cases)进行人工标注后重新加入训练集，构建了包含1.5万样本的内部多语言结构化layout数据集。

• 采用"大模型排序+规则后验"方法修正所有layout数据中元素框的阅读顺序，确保输出符合人类阅读习惯。

• 应用多专家系统进行数据清洗和蒸馏，配合缩放、旋转、加噪声等增强手段提升模型鲁棒性。

性能优化

dots.ocr在精度与效率的平衡上做出了多项技术创新：

动态分辨率处理：基于NaViT架构的动态分辨率支持，使模型能够根据输入文档复杂度自动调整处理粒度，避免对简单文档过度计算。实际部署中，这一特性可降低平均30%的计算开销。

结构化提示词：精心设计的prompt模板不仅用于任务切换，还内置了输出格式控制。例如表格识别prompt会指定HTML或Markdown输出格式，减少后处理工作量。

失败恢复机制：针对常见失败场景(如高字符像素比、特殊字符重复)内置了检测和恢复策略，当模型预测置信度低于阈值时会自动触发重试或提示建议。例如遇到连续下划线时，系统可能建议用户更换prompt或调整输入分辨率。

应用场景

dots.ocr的强大功能使其在多个领域具有广泛应用价值：

跨语言文档数字化：图书馆、博物馆等机构可利用dots.ocr将历史文献、多语言书籍转换为可搜索的电子文本。其保持阅读顺序的特性特别珍贵，使得数字化后的文档能保留原始排版逻辑，而非简单的文字集合。某测试显示，在处理19世纪的中英混合传教士文档时，dots.ocr的阅读顺序准确率达到92%，远超同类工具的78%。

金融票据处理：银行、保险公司可部署dots.ocr自动识别支票、保单、申请表等结构化文档。其表格识别能力可准确提取关键字段如金额、日期、账号等，与内部系统直接对接。相比传统OCR方案，dots.ocr对票据畸变、印章遮挡等常见干扰更具鲁棒性，在模糊票据上的识别率提升约15%。

学术论文解析：研究机构可使用dots.ocr批量处理PDF论文，同时提取正文、公式和参考文献。其公式识别支持LaTeX输出，可直接用于学术写作。测试表明，在识别复杂数学表达式时，dots.ocr与专业数学OCR工具相比仅有3%的准确率差距，但速度快2倍。

企业文档自动化：法务、人力资源部门可借助dots.ocr自动解析合同、简历等文档，提取关键信息存入数据库。其多语言支持特别适合跨国企业的多语种文档管理需求，一份工具即可处理不同语言文档，无需维护多个专用系统。

移动端证件识别：集成dots.ocr的APP可实现身份证、护照、驾照等证件的拍照识别。模型对小尺寸、低分辨率证件照的优化使其在移动场景表现优异，某测试中身份证号识别准确率达99.3%，比行业平均高1.8个百分点。

物流单据处理：运输公司可用dots.ocr自动识别运单上的收发信息、货物详情等。其对扭曲文本、低质量扫描件的适应能力减少了人工干预需求，某物流企业部署后单据处理效率提升40%，错误率下降60%。

教育资料转换：教师和学生可使用dots.ocr将教材、笔记转换为可编辑文本。特别有价值的是其保持公式和表格结构的能力，使STEM学科资料的数字化不再丢失关键科学内容。

相关链接

• GitHub主仓库： https://github.com/rednote-hilab/dots.ocr

• Hugging Face模型库： https://huggingface.co/rednote-hilab/dots.ocr

   

• 官方Demo： https://dotsocr.xiaohongshu.com

总结

dots.ocr代表了文档解析技术的一次重要革新，它通过统一的视觉语言模型架构，将传统多模块流水线的文档分析任务简化为单一模型的可提示任务，在保持SOTA性能的同时显著提升了效率与易用性。项目以17亿参数的轻量级模型实现了与超大模型媲美的精度，特别是在多语言支持、结构保持和复杂元素(表格、公式)识别方面表现突出。其开源性质和多接口支持使其既适合学术研究，也能满足工业部署需求，为文档数字化、企业自动化等多个场景提供了强大工具基础。小红书hi lab团队通过严谨的三阶段训练策略和创新的数据飞轮方法，证明了中等规模模型经过专业优化后也能在专业领域超越通用大模型，这一思路对AI社区的发展具有重要启示意义。