Docling：生成式 AI 不可或缺的文档处理利器

恭喜 Docling 强势上榜，跻身 GitHub 本月热门存储库之列！

企业组织拥有海量数据，从知识产权和内部知识，到营销、销售和客户数据，再到运维策略和流程，不一而足。  真正的挑战不在于收集数据或生成文档，而在于从中提取有意义的见解。切实可行的见解有助于优化客户服务、加快客户价值实现速度、让运维流程更加顺畅，带来诸多益处。生成式 AI（gen AI）有望弥合这一鸿沟，将企业组织内堆积如山的数据转化为具有战略意义的见解。

然而，如果数据囿于大语言模型（LLM）无法直接读取的格式，生成式 AI 的种种愿景便无法实现。例如，当数据存储在 pdf 文件或 docx 等专有文档格式中时，这一问题便会成为掣肘，进而阻碍模型适配企业组织的实际需求。要应对这些挑战，企业组织需要对现有文档进行预处理，将其转换为可用于微调管道或创建检索增强生成（RAG）的格式。

这并非简单的光学字符识别（OCR）或文本提取。该预处理阶段的关键一点在于，需依托上下文感知与元素识别技术来完成数据提取。例如，如果一个表格跨越多页，则必须将其作为单个表格进行提取；或者，如果文档每页采用多栏文本布局，或混合了图片和表格等元素，则必须一致地提取其中的每个元素，并保留其提取来源的上下文信息。

多年来，许多开源工具都试图解决这一挑战中的一个甚至几个方面，但没有任何一款工具能够彻底解决整个问题。这种碎片化的解决方案迫使企业组织使用复杂的管道，将互不关联的工具拼凑在一起，并使用不同的工具多次处理相同的文档。最终的局面便是，处理结果不一致、计算成本高昂、维护工作复杂，以及输出质量参差不齐。

在创建用于处理文档的文档提取管道，以使用 InstructLab 微调模型时，我们也面临了同样的挑战。正是在那时，我们发现并采用了 IBM 研究院开发的 Doling 项目，它彻底改变了我们的工作流。自 IBM 于 2024 年秋季将 Docling 作为开源项目发布以来，这款工具在自然语言处理（NLP）领域迅速崭露头角，这也印证了我们当初选择的前瞻性。如今，亲眼见证它在开源生成式 AI 生态系统中的影响力与日俱增，我们倍感振奋。

Docling 概览

Docling 是一个上游开源项目及工具，支持解析 .pdf、.docx、.pptx 和 html 等多种格式的文档，并将其转换为 Markdown 或 JSON 等格式，从而大幅简化生成式 AI 应用的内容准备工作。它支持针对扫描文档的高级 PDF 处理与光学字符识别（OCR）功能，还可与 LlamaIndex 和 LangChain 等工具集成，以执行 RAG 和问答任务。

来源：https://github.com/DS4SD/docling?tab=readme-ov-file

亲身体验 Docling

直接通过软件包管理器安装 Docling，例如使用 pip：

# pip install docling

安装后，您可以在 Python 模块中以编程方式执行文档转换，也可以使用 Doling CLI。

from docling.document_converter import DocumentConverter source = "https://arxiv.org/pdf/2408.09869"  # PDF path or URL converter = DocumentConverter() result = converter.convert(source) print(result.document.export_to_markdown())  # output: "### Docling Technical Report[...]" # docling https://arxiv.org/pdf/2206.01062

您可以在此处的项目存储库中，查看配置此数据转换的其他方法以及详细说明。

Docling 的实际应用

目前，Docling 已经在 InstructLab 社区中投入使用，供用户向 InstructLab 分类体系提交公共数据集。用户可以访问 https://ui.instructlab.ai/ 并提交数据集，将其纳入后续版本的开源 InstructLab granite-lab 社区模型中。该 granite-lab 模型基于开源基础模型 Granite-7b 而构建，并通过 InstructLab 进行了定制，融入社区成员提交的新知识和技能。即将发布的 granite-lab 版本则采用开源基础模型 Granite-3.0-8b，并且同样正在使用 InstructLab 进行定制。该服务使用 Doling 将用户的文档转换为 Instructlab 分类体系所需的数据格式，从而简化了贡献新知识文档的过程。  这些工具同样可用于自定义用户的私有模型实例。 

红帽和 Docloling

今年早些时候，红帽推出了红帽企业 Linux AI（RHEL AI）和 InstructLab，旨在为企业客户提供同样的功能。RHEL AI 是一个面向企业的基础模型平台，集成了开源的生成式 AI 功能，并针对混合云环境中的部署进行了优化。它将 IBM 的开源 Granite LLM 与红帽的 InstructLab 工具相结合，使领域专家（而不仅仅是数据科学家）能够利用特定行业的知识对模型进行微调，使其与企业组织独特的需求和数据相契合。随后，这些模型可以在涵盖企业数据中心、公共云及边缘环境的混合云环境中进行部署和管理。

我们非常认可 IBM 研究院将 Docling 开源的决定，也赞赏其在该领域的持续创新，让生成式 AI 变得更加触手可及、切实可行。  在即将发布的 RHEL AI 版本中，我们计划将 Docling 作为官方支持的功能纳入其中，让客户能够更轻松地以各种格式导入其企业私有数据，并呈现给 RHEL AI 中的 InstructLab 合成数据生成和阶段训练流程，从而定制和调优专属模型实例。

我们对 Doling 为开源社区带来的创新和用户收益倍感兴奋，并期待将这些功能带给 RHEL AI 用户。开源项目以惊人的速度让生成式 AI 变得更加触手可及，我们很高兴能够为这些上游社区提供支持，并将这些创新成果作为企业就绪型功能带给客户。

观看此视频，体验更多精彩