Docling: a ferramenta de processamento de documentos que faltava para a IA generativa

Parabéns ao Docling por se tornar um dos principais repositórios do mês no GitHub!

As organizações têm uma grande quantidade de dados de diferentes áreas: propriedade intelectual e expertise; marketing, vendas e clientes; políticas e procedimentos operacionais e muito mais.  O desafio não é coletar dados ou gerar documentos, mas extrair insights que permitam aprimorar o atendimento ao cliente, acelerar o time to value e simplificar as operações. A IA generativa (gen AI) promete preencher essa lacuna, transformando os dados organizacionais em insights estratégicos.

Para isso, os dados não podem estar em formatos que o Large Language Model (LLM) não consegue usar diretamente. Por exemplo, um arquivo PDF ou em formato de documento proprietário, como .docx, torna mais difícil alinhar o modelo às necessidades da organização. Para responder a esses desafios, é preciso pré-processar os documentos existentes e convertê-los em formatos compatíveis com pipelines de ajuste fino ou com a Geração Aumentada de Recuperação (RAG).

Não basta um simples OCR ou extração de texto. Uma parte importante do pré-processamento é a extração de dados com técnicas que consideram o contexto e os elementos presentes. Por exemplo, uma tabela com várias páginas deve ser extraída como uma única tabela. No caso de um documento com layout de várias colunas de texto por página ou que combina elementos como imagens e tabelas, cada elemento deve ser extraído de forma consistente considerando o contexto.

Ao longo dos anos, muitas ferramentas open source tentaram resolver um ou mais aspectos desse problema, mas nenhuma o solucionou por completo. Com essa abordagem fragmentada, as organizações precisavam usar pipelines complexos, associar ferramentas desconexas e processar os mesmos documentos várias vezes usando diferentes ferramentas. Isso gera altos custos com computação e uma manutenção complexa, além de resultados inconsistentes de qualidade variável.

Enfrentamos esses mesmos desafios ao criar pipelines de ingestão de documentos para ajustar um modelo com o InstructLab. Foi quando descobrimos e adotamos o Docling, um projeto desenvolvido pela IBM Research que transformou nosso fluxo de trabalho. Desde que a IBM lançou o Docling no 2º semestre de 2024, a ferramenta open source se destacou no campo de PLN, validando nossa adoção inicial. É empolgante perceber o crescente impacto dela no ecossistema de gen AI open source.

Conheça o Docling

O Docling é um projeto open source upstream. A ferramenta analisa documentos (como .pdf, .docx, .pptx, html, etc.) e os converte para formatos como Markdown ou JSON, simplificando a preparação do conteúdo para aplicações de gen AI. Ele realiza o reconhecimento ótico de caracteres (OCR) em documentos PDF digitalizados e integra-se a ferramentas como LlamaIndex e LangChain, oferecendo RAG e respostas a perguntas.

Fonte: https://github.com/DS4SD/docling?tab=readme-ov-file

Experimente o Docling

Basta instalar o Docling no seu gerenciador de pacotes, como o pip:

# pip install docling

Após a instalação, você poderá converter documentos programaticamente em seu módulo Python ou usar a interface de linha de comando (CLI) do Docling.

from docling.document_converter import DocumentConverter source = "https://arxiv.org/pdf/2408.09869"  # PDF path or URL converter = DocumentConverter() result = converter.convert(source) print(result.document.export_to_markdown())  # output: "### Docling Technical Report[...]" # docling https://arxiv.org/pdf/2206.01062

Encontre outras maneiras de configurar a conversão de dados e mais detalhes no repositório do projeto.

Uso atual do Docling

A comunidade do InstructLab já usa o Docling para enviar datasets públicos para a taxonomia do Instructab. Em https://ui.instructlab.ai/, os usuários podem enviar datasets para inclusão nas versões futuras do modelo open source granite-lab da comunidade do InstructLab. Ele é baseado no modelo fundamental open source Granite-7b, que usou o InstructLab para adicionar novos conhecimentos e habilidades enviados pelos membros da comunidade. A próxima versão do granite-lab usa o modelo fundamental Granite-3.0-8b open source e está sendo personalizada com o InstructLab. Esse serviço usa o Docling para converter os documentos dos usuários para o formato de dados necessário para a taxonomia do Instructlab. Assim, é mais fácil contribuir com novos documentos de conhecimento.  Essas ferramentas também permitem personalizar instâncias de modelo privadas de um usuário. 

Red Hat e Docling

No início deste ano, a Red Hat lançou o Red Hat Enterprise Linux AI (RHEL AI) e o InstructLab para oferecer esses recursos aos clientes empresariais. Otimizado para implantação em ambientes de nuvem híbrida, o RHEL AI é uma plataforma empresarial de modelo fundamental que integra recursos de gen AI open source. Combinando LLMs Granite open source da IBM e as ferramentas do InstructLab da Red Hat, a solução permite que experts (e não apenas cientistas de dados) ajustem modelos com conhecimentos específicos para estarem alinhados às necessidades e dados exclusivos da organização. É possível implantar e gerenciar os modelos em um ambiente de nuvem híbrida, incluindo data centers empresariais, nuvens públicas e ambientes de edge.

Seguindo a decisão da IBM Research, tornamos o Docling open source e apoiamos o compromisso contínuo com a inovação nesse campo. Dessa forma, a gen AI fica mais acessível.  Nas próximas versões do RHEL AI, queremos oferecer o Docling como funcionalidade compatível. Assim, os clientes terão uma maneira mais simples de ingerir dados empresariais privados em vários formatos e acessar a geração de dados sintéticos do InstructLab e a fase de treinamento no RHEL AI para personalizar e ajustar instâncias de modelo próprias.

Estamos animados com a inovação e com os benefícios do Docling para a comunidade open source e queremos disponibilizar esses recursos para os usuários do RHEL AI. Os projetos open source tornam a gen AI mais acessível com uma velocidade impressionante. Apreciamos a oportunidade de apoiar as comunidades upstream e levar a inovação aos nossos clientes como recursos empresariais.

Assista ao vídeo para saber mais