Docling: Der fehlende Partner für die Dokumentverarbeitung durch generative KI

Herzlichen Glückwunsch an Docling, das es zu einem der besten GitHub-Repositories des Monats geschafft hat!

Organisationen verfügen über eine enorme Menge an Daten – von geistigem Eigentum und internem Wissen über Marketing-, Vertriebs- und Kundendaten bis hin zu betrieblichen Richtlinien, Prozessen und vielem mehr.  Die Herausforderung besteht nicht darin, Daten zu sammeln oder Dokumente zu erstellen, sondern wertvolle Erkenntnisse daraus zu gewinnen. Nutzbare Erkenntnisse können zu einem besseren Kundenservice, einer schnelleren Wertschöpfung, effizienteren Abläufen und vielen weiteren Verbesserungen führen. Generative KI (gen KI) verspricht, diese Lücke zu schließen und vorhandene Unternehmensdaten in strategisch nutzbare Erkenntnisse umzuwandeln.

Die Vorteile von gen KI lassen sich jedoch nicht vollständig ausschöpfen, wenn Daten in Formaten gespeichert sind, die von einem Large Language Model (LLM) nicht direkt verarbeitet werden können. Dies ist beispielsweise der Fall, wenn Informationen in PDF-Dateien oder proprietären Dokumentformaten wie DOCX vorliegen. Diese Einschränkungen stellen eine Herausforderung dar, insbesondere wenn Modelle an spezifische Unternehmensanforderungen angepasst werden sollen. Um diese Herausforderungen zu bewältigen, müssen Unternehmen bestehende Dokumente zunächst in geeignete Formate überführen und vorverarbeiten. Diese Formate können anschließend für Fine-Tuning-Pipelines oder die Erstellung von Retrieval-Augmented Generation-Systemen (RAG) verwendet werden.

Hier geht es nicht um einfache OCR oder reine Textextraktion. Ein wesentlicher Bestandteil dieser Vorverarbeitungsphase besteht darin, Daten mithilfe kontext- und elementbewusster Verfahren zu extrahieren. Erstreckt sich beispielsweise eine Tabelle über mehrere Seiten, muss sie als zusammenhängende Tabelle erkannt und extrahiert werden. Verfügt ein Dokument über ein mehrspaltiges Seitenlayout oder kombiniert es verschiedene Elemente wie Bilder und Tabellen, müssen diese Elemente konsistent erkannt und extrahiert werden – stets unter Berücksichtigung des jeweiligen Kontexts.

Im Laufe der Jahre haben zahlreiche Open Source-Tools versucht, einzelne Aspekte dieser Herausforderung oder sogar Teile des Gesamtproblems zu lösen. Keines dieser Tools adressiert jedoch die gesamte Komplexität der Dokumentverarbeitung. Dieser fragmentierte Ansatz zwingt Unternehmen dazu, komplexe Verarbeitungspipelines aufzubauen, verschiedene, nicht miteinander verbundene Tools zu integrieren und dieselben Dokumente mehrfach mit unterschiedlichen Tools zu verarbeiten. Die daraus entstehenden Ergebnisse sind inkonsistent, rechenintensiv und aufwendig zu verwalten. Zudem schwankt die Qualität der erzeugten Ausgaben erheblich.

Wir standen vor denselben Herausforderungen, als wir Dokumentaufnahme-Pipelines für die Verarbeitung von Trainingsdaten zum Fine Tuning eines Modells mit InstructLab entwickelten. Dabei entdeckten und integrierten wir Docling – ein bei IBM Research entwickeltes Projekt, das unseren Workflow grundlegend verändert hat. Seit IBM Docling im Herbst 2024 als Open Source-Projekt veröffentlicht hat, hat sich das Tool im Bereich der natürlichen Sprachverarbeitung (NLP) etabliert. Dies bestätigt unsere frühe Entscheidung, die Technologie einzusetzen. Wir freuen uns über den wachsenden Einfluss dieser Technologie im Open Source-Ökosystem für gen KI.

Docling auf einen Blick

Docling ist ein Upstream Open Source-Projekt und ein Tool zur Analyse und Verarbeitung von Dokumenten – von PDF- und DOCX-Dateien über PPTX und HTML bis hin zu weiteren Formaten. Es konvertiert Dokumente in strukturierte Formate wie Markdown oder JSON und erleichtert damit die Aufbereitung von Inhalten für Anwendungen mit gen KI. Die Lösung unterstützt fortschrittliche OCR-Funktionen (Optical Character Recognition) für die Verarbeitung gescannter PDF-Dokumente und lässt sich für RAG- sowie Frage-Antwort-Anwendungen in Tools wie LlamaIndex und LangChain integrieren.

Quelle: https://github.com/DS4SD/docling?tab=readme-ov-file

Testen Sie Docling

Installieren Sie Docling einfach über Ihren Paketmanager, z. B. pip:

# pip install docling

Nach der Installation können Sie die Dokumentkonvertierung entweder programmgesteuert in Ihrem Python-Modul durchführen oder die Docling-CLI verwenden.

aus docling.document_converter import DocumentConverter source = "https://arxiv.org/pdf/2408.09869"  # PDF path or URL converter = DocumentConverter() result = converter.convert(source) print(result.document.export_to_markdown())  # output: "### Docling Technical Report[...]" # docling https://arxiv.org/pdf/2206.01062

Weitere Konfigurationsmöglichkeiten für die Datenkonvertierung sowie zusätzliche Informationen finden Sie im Projekt-Repository.

Docling in der Praxis

Docling wird bereits von der InstructLab-Community eingesetzt, um Nutzenden die Übermittlung öffentlicher Datensätze an die InstructLab-Taxonomie zu ermöglichen. Nutzende können dazu https://ui.instructlab.ai/ aufrufen und ihre Datensätze zur Aufnahme in zukünftige Versionen des Open Source-Community-Modells InstructLab Granite-Lab einreichen. Dieses Granite-Lab-Modell basiert auf dem Open Source-Basismodell Granite-7b, das mit InstructLab angepasst wurde, um neue Kenntnisse und Skills hinzuzufügen, die von der Community eingereicht wurden. Das kommende Release von Granite-Lab verwendet das Open Source-Basismodell Granite-3.0-8b und kann ebenfalls mit InstructLab angepasst werden. Dieser Dienst verwendet Docling, um Nutzerdokumente in das von der InstructLab-Taxonomie benötigte Datenformat zu konvertieren. So wird der Prozess zur Einreichung neuer Dokumente vereinfacht.  Dieselben Tools können auch verwendet werden, um private Modellinstanzen von Nutzenden anzupassen. 

Red Hat und Docling

Red Hat hat Anfang des Jahres Red Hat Enterprise Linux AI (RHEL AI) und InstructLab eingeführt, um Unternehmenskunden diese Funktionen bereitzustellen. RHEL AI ist eine für Unternehmen entwickelte Plattform für Basismodelle, die generative Open Source-KI-Funktionen integriert und für den Einsatz in Hybrid Cloud-Umgebungen optimiert ist. Die Plattform kombiniert die Open Source-Granite-LLMs von IBM mit den InstructLab-Tools von Red Hat. So können Domainexperten (nicht nur Data Scientists) Modelle mit branchenspezifischem Wissen anpassen und auf die individuellen Anforderungen und Daten eines Unternehmens abstimmen. Diese Modelle können anschließend in einer Hybrid Cloud-Umgebung bereitgestellt und gemanagt werden – von Unternehmensrechenzentren über Public Clouds bis hin zu Edge-Umgebungen.

Wir haben die Entscheidung von IBM Research unterstützt, Docling als Open Source-Projekt bereitzustellen, sowie das kontinuierliche Engagement des Unternehmens für Innovationen in diesem Bereich, um gen KI zugänglicher und praktikabler zu machen.  In zukünftigen RHEL AI-Releases planen wir, Docling als unterstützte Funktion zu integrieren. So erhalten Kunden eine einfachere Möglichkeit, eigene private Unternehmensdaten aus unterschiedlichen Formaten aufzubereiten und für die Generierung synthetischer Daten sowie das Phasentraining mit InstructLab innerhalb von RHEL AI bereitzustellen. So können sie eigene Modellinstanzen anpassen und optimieren.

Wir sind begeistert von den Innovationen und Vorteilen, die Docling der Open Source-Community bietet, und freuen uns darauf, diese Funktionen den Nutzenden von RHEL AI zur Verfügung zu stellen. Die Geschwindigkeit, mit der Open Source-Projekte gen KI zugänglicher machen, ist beeindruckend. Wir freuen uns darauf, diese Upstream Communities zu unterstützen und unseren Kunden diese Innovationen als unternehmensgerechte Funktionen bereitzustellen.

Erfahren Sie in diesem Video mehr.