Was ist Docling?

Docling ist ein Open Source-Projekt und Tool, das Dokumente in strukturierte Daten umwandelt, die von Large Language Models (LLMs) genutzt und für deren Training verwendet werden können. 

Die meisten Unternehmensdaten liegen in Dateiformaten vor, die sich für KI-Anwendungen nur schwer verarbeiten lassen und aus denen sich Daten nur mit hohem Aufwand extrahieren lassen. Damit diese Dokumente in Workflows wie Retrieval-Augmented Generation (RAG), Fine Tuning oder agentischer KI genutzt werden können, müssen sie in Formate wie Markdown, Klartext oder JSON konvertiert werden.

Kurz gesagt: Docling ist ein Tool zur Dokumentenverarbeitung für generative KI. Es schließt die Lücke zwischen herkömmlichen Dokumentformaten und den strukturierten Daten, die KI-Anwendungen benötigen. 

Mehr über Red Hat AI erfahren

YouTube-Video: How Docling turns documents into usable AI data (12:22)

Docling ermöglicht es KI-Anwendungen, Informationen aus PDF-Dateien, Präsentationen, Tabellen, Audio- und Videodateien sowie vielen weiteren Dateiformaten zu nutzen, um präzisere und besser nachvollziehbare Ergebnisse zu erzielen. Docling geht weit über die reine Textextraktion hinaus. Das Tool erkennt Dokumentlayouts, Hierarchien und komplexe Elemente wie mehrseitige Tabellen, Bilder, Aufzählungen und Überschriften. 

Durch die Umwandlung unterschiedlich strukturierter Dokumente in einheitliche Formate vereinfacht Docling die Datenaufbereitung und schafft die Grundlage für Wissenspipelines, die sich für den Einsatz mit Large Language Models (LLMs) eignen. Docling begegnet dem „Garbage-in, Garbage-out“-Problem moderner KI-Workflows, bei dem die Qualität der Eingabedaten die Qualität der Ergebnisse bestimmt, denn mithilfe von Deep Learning-Algorithmen bleibt dabei die Struktur der Dokumente erhalten. 

Docling konvertiert unter anderem PDF-, DOCX-, XLSX-, PPTX- und HTML-Dateien in Formate wie Markdown, Klartext oder JSON, die sich für die Verarbeitung durch KI-Anwendungen besser eignen.

Mehr über die Leistungsfähigkeit von Docling bei der Dokumentenverarbeitung erfahren

Docling und Retrieval-Augmented Generation (RAG)

Damit ein RAG-System präzise Ergebnisse liefern kann, benötigt es Zugriff auf relevante Daten und den dazugehörigen Kontext. Vor Docling war es schwierig, beim Extrahieren von Daten die Struktur eines Dokuments beizubehalten. Spalten und Zeilen konnten ihre Zuordnung verlieren, und Fußnoten wurden unter Umständen von den zugehörigen Absätzen getrennt. Docling bewahrt die Dokumentstruktur und reduziert so Fehlinterpretationen. Dadurch erhalten RAG-Systeme den erforderlichen Kontext und können relevantere Ergebnisse liefern. 

Docling und Fine Tuning

Für das Fine Tuning werden klare und konsistent formatierte Trainingsdaten benötigt. Seitenzahlen, wiederkehrende Kopfzeilen oder fehlerhafte Zeilenumbrüche können die Datenaufbereitung erschweren und die Qualität der Modellergebnisse beeinträchtigen. Docling automatisiert die Datenaufbereitung: Das Tool entfernt störende Elemente und erzeugt klare, strukturierte Daten, die sich für die Verarbeitung durch KI-Modelle eignen. 

Mehr über RAG im Vergleich zu Fine Tuning erfahren

Docling und MCP

Das Model Context Protocol (MCP) ist ein Open Source-Protokoll, das die standardisierte bidirektionale Kommunikation zwischen KI-Anwendungen und externen Services ermöglicht. Es funktioniert wie ein Universalübersetzer zwischen LLMs und Tools. 

Der offizielle MCP-Server von Docling, der das Dokument konvertiert, lässt sich in Ihren bevorzugten MCP-Client integrieren, also die KI-Anwendung, die Zugriff auf externe Daten oder Ressourcen anfordert, wie beispielsweise Claude Desktop, LM Studio oder Cursor. Über diese Integration kann Ihre Anwendung die Funktionen von Docling nutzen, um Informationen aus Dokumenten zu extrahieren und sie in strukturierte Formate zu konvertieren. Unabhängig davon, welches Large Language Model (LLM) oder welchen KI-Agenten Sie verwenden: Unterstützt der Client den Aufruf von Tools, kann er den Docling-MCP-Server nutzen. 

Docling verarbeitet jedes Dokument in einer durchgängigen Pipeline:

1. Sie laden ein Originaldokument, beispielsweise eine PDF-Datei, in Docling hoch.
2. Docling analysiert das Dokument und erkennt seine strukturellen Bestandteile, wie etwa großen, fett gedruckten Text als Überschriften, Textblöcke als Absätze und Zahlenraster als Tabellen. Im Rahmen der Layoutanalyse werden die einzelnen Elemente mit einem DocTag versehen, einem spezialisierten, von KI lesbarem Code. 
3. Anschließend durchläuft das Dokument Verarbeitungsschritte wie optische Zeichenerkennung (OCR), Tabellenstrukturerkennung und weitere Layoutanalysen. Dieser Teil der Pipeline lässt sich anpassen, sodass Sie Modelle hinzufügen oder austauschen oder zusätzliche Konfigurationsparameter einführen können. 
4. Docling führt die erkannten Informationen zu einem internen digitalen Dokumentmodell zusammen. Ein Nachbearbeitungsschritt optimiert die Ausgabe und erstellt eine strukturierte Markdown- oder JSON-Datei. Dieses Ergebnis wird als Docling-Dokument bezeichnet. 

Unterstützt Docling OCR und gescannte Dokumente?

Ja. Docling unterstützt OCR (Optical Character Recognition) umfassend. Diese Technologie wandelt Text in Bildern oder gescannten Dokumenten in bearbeitbare, durchsuchbare und maschinenlesbare Daten um. OCR analysiert die Helligkeits- und Kontrastunterschiede eines Bildes, um Zeichen zu erkennen. Wenn Sie beispielsweise einen Beleg für eine Spesenabrechnung fotografieren, kann OCR die enthaltenen Texte und Zahlen extrahieren.

Docling im Vergleich zu OCR 

Docling baut auf OCR auf und erweitert dessen Funktionen deutlich. 

OCR extrahiert in erster Linie Text aus Bildern. Sie kann zwar Zeichen erkennen, verfügt jedoch nur über ein begrenztes Verständnis von Layout, Hierarchie und Formatierung. Deshalb können beispielsweise Tabellenstrukturen oder Spaltenzuordnungen verloren gehen. 

Docling geht bei den OCR-Funktionen noch einen Schritt weiter, indem es Dokumente unter Berücksichtigung von Layout, Hierarchie und Formatierung analysiert. Docling berücksichtigt dagegen die gesamte Dokumentstruktur. Das Tool erkennt Überschriften, Absätze, Tabellen, Diagramme, Formeln und Listen und erhält diese Informationen bei der Konvertierung in Formate wie Markdown oder JSON. 

OCR kommt in Docling insbesondere dann zum Einsatz, wenn Text aus gescannten Dokumenten oder handschriftlichen Notizen extrahiert werden muss. 

Kann Docling lokal ausgeführt werden?

Ja. Docling wird standardmäßig vollständig lokal auf Ihrem eigenen System ausgeführt. Da die Daten Ihren Rechner zu keinem Zeitpunkt verlassen, eignet sich Docling auch für die Verarbeitung vertraulicher Dokumente. Die lokale Ausführung trägt außerdem dazu bei, die Betriebskosten gering zu halten. Da Docling Ihre lokale Hardware nutzt und keine cloudbasierten Tools, können Sie Tausende von Seiten verarbeiten, ohne laufende Cloud-Kosten zu verursachen.

Ist Docling für Air Gap-Umgebungen geeignet?

Ja. Docling eignet sich für den Einsatz in hochsicheren Air Gap-Umgebungen. Dazu laden Sie die von Docling benötigten KI-Modelle zunächst bei bestehender Internetverbindung herunter, übertragen sie in Ihr isoliertes Netzwerk und konfigurieren Docling anschließend für den Offlinebetrieb. Nach der Einrichtung steht Ihnen ein leistungsfähiger Dokumentenparser zur Verfügung, der vollständig innerhalb Ihrer abgeschotteten Umgebung arbeitet.

IBM Research entwickelte Docling ursprünglich als internes Tool. Im April 2025 wurde Docling an die Linux® Foundation AI & Data Foundation übergeben. Dadurch ist das Projekt frei verfügbar, anbieterneutral und wird gemeinschaftlich von der weltweiten Open Source Community weiterentwickelt.

Ist die Nutzung von Docling sicher?

Docling ist Teil der Linux Foundation, einer Dachorganisation, die rechtlichen Schutz bietet und Tools für die Cybersicherheit einsetzt, um Code kontinuierlich auf Schwachstellen zu überprüfen. Diese sowohl rechtliche als auch technische Sicherung sorgt selbst in regulierten Branchen wie dem Gesundheitswesen und dem Finanzsektor für Zuverlässigkeit.

Die unterschiedlichsten Unternehmen mit umfangreichen oder verteilten Dokumentbeständen können von Docling profitieren. Beispiele hierfür sind:

Finanzdienstleistungen
Quartalsberichte, regulatorische Dokumente und Formulare enthalten häufig mehrspaltige Texte und umfangreiche Tabellen. Mit Docling lässt sich die Extraktion von Finanzdaten automatisieren, um Tabellen zu isolieren und als Markdown-Tabellen darzustellen. So können KI-Agenten die aufbereiteten Dokumente auswerten und Metriken berechnen, und Daten müssen nicht manuell in Tabellenkalkulationen übertragen werden.

Analyse und Auffinden von Rechtsdokumenten
Anwaltskanzleien und Rechtsabteilungen verwalten Tausende von Verträgen, Akten und Dokumenten, die häufig gescannte Bilder, Fußnoten und Randvermerke enthalten, die standardmäßige Textleseprogramme überfordern können. Docling erhält die Dokumentstruktur und stellt sicher, dass Fußnoten und andere Verweise im richtigen Kontext erhalten bleiben. Dadurch lassen sich Daten besser für Retrieval-Augmented Generation (RAG) aufbereiten, sodass juristische Fachkräfte komplexe Fragen über KI-Anwendungen stellen und präzise Antworten erhalten können. 

Wissenschaftliche Forschung
Pharmakonzerne und Forschungseinrichtungen benötigen Zugriff auf Tausende von wissenschaftlichen Fachzeitschriften, medizinischen Fachartikeln und Patentanmeldungen für ihre Forschungs- und Entwicklungsarbeit. Docling kann komplexe, mehrspaltige wissenschaftliche Texte verarbeiten, mathematische Formeln analysieren und Abbildungen den entsprechenden Bildunterschriften zuordnen. Die aufbereiteten Daten eignen sich für das Fine Tuning domainspezifischer Large Language Models (LLMs) und unterstützen KI-Anwendungen dabei, umfangreiche Forschungsbestände effizient zu analysieren und neue Zusammenhänge bei Wechselwirkungen zwischen Medikamenten oder chemischen Strukturen zu erkennen.

Öffentlicher Sektor und Verteidigung
Behörden und Verteidigungsorganisationen verarbeiten häufig vertrauliche Handbücher, Verträge und technische Dokumentationen, die nicht an KI-Services aus der Public Cloud wie ChatGPT übermittelt werden dürfen. Docling lässt sich lokal ausführen und unterstützt Air Gap-Umgebungen. So können Behörden sicherheitsorientierte, interne KI-Tools entwickeln, mit denen wichtige technische Informationen gescannt und extrahiert werden können, während vertrauliche Daten vor unbefugtem Zugriff geschützt bleiben. 

Verbinden von Modellen mit Daten – mit Red Hat AI

Bevor Sie Docling herunterladen, stellen Sie bitte sicher, dass Python auf Ihrem Rechner installiert ist und dass Sie über genügend Speicherplatz verfügen, um die KI-Layout-Modelle von Docling sowie PyTorch, ein Open Source Framework für Deep Learning, zu speichern. 

Die Installation ist dann mit nur einem Befehl im Terminal abgeschlossen. Von dort aus können Sie es mit Ihrem bevorzugten KI-Chat-Interface verknüpfen und Dokumente mit Drag und Drop in Ihr Chat-Fenster ziehen. Docling erledigt dann den Rest.

Um die Einfachheit von Docling wirklich zu schätzen, sollte man bedenken, wie zeitaufwendig es früher war, Daten aus einem Dokument mit mehreren Formaten zu extrahieren. Der Prozess umfasste das Schreiben von Hunderten von Codezeilen, um die Verarbeitungslogik zu steuern, beispielsweise: „Wenn die Datei auf .pdf endet, dann mach Folgendes. Wenn sie ein Bild enthält, dann mach das.“ Dank Docling und MCP ist dieser Vorgang nun wesentlich einfacher geworden.

Mit MCP eine agentische Anwendung für Docling erstellen

Red Hat® AI ist mit seinem vLLM-basierten Server für schnelle, flexible und effiziente Inferenz konzipiert. Die Lösung verknüpft die Modelle zuverlässig mit Ihren Daten, um die Anpassung und Entwicklung spezialisierter Agenten auf einer einzelnen Plattform zu vereinheitlichen. Gemeinsam bieten Red Hat AI und Docling die erforderlichen Tools, um komplexe Dokumente in nützliche Erkenntnisse umzuwandeln. Da beide auf Open Source basieren, bieten sie Ihnen die vollständige End-to-End-Kontrolle über KI-Workflows in beliebigem Umfang. 

Das Portfolio von Red Hat AI beinhaltet jetzt Red Hat AI Enterprise: eine Plattform zum Bereitstellen, Verwalten und Skalieren von KI-Inferenz, agentischen KI-Workflows und KI-gestützten Anwendungen auf beliebigen Infrastrukturen.

Mehr über Red Hat AI erfahren