Supere o gargalo da RAG: processamento escalável de documentos com Ray Data e Docling

As equipes empresariais costumam enfrentar o "gargalo de dados" ao criar aplicações de IA generativa (gen AI) como a geração aumentada por recuperação (RAG), pois as ferramentas tradicionais de processamento de documentos não processam eficientemente milhares de documentos complexos. Esta postagem explora como uma infraestrutura unificada — combinando Ray Data para streaming de alta velocidade e DoclingPágina disponível no idioma inglês (Portuguese, Brazil não disponível) para análise precisa de documentos — elimina esses obstáculos. Ao escalar essas ferramentas em plataformas como Red Hat Openshift AI ou Anyscale, as organizações podem transformar dados desorganizados e não estruturados em insights práticos em horas, e não em dias, estabelecendo as bases de confiança e confiabilidade para a próxima onda de inovação em IA.

A Anyscale é a empresa por trás do Ray, um framework de computação distribuída que agora faz parte da PyTorch Foundation. A Anyscale também oferece uma plataforma de IA. 

O Red Hat OpenShift AI oferece às organizações uma plataforma escalável para desenvolver e implantar a inteligência artificial. A plataforma utiliza o KubeRay para executar clusters do Ray no Kubernetes, garantindo mais confiabilidade e escalabilidade automática. Ao adicionar o Docling para análise de documentos, o OpenShift AI permite gerenciar tarefas de CPU e GPU em um único sistema. Isso reduz a sobrecarga e acelera a entrega de aplicações de IA. 

A realidade do gargalo da RAG

As demonstrações fazem a criação de IA generativa parecer fácil, mas a realidade da preparação e do processamento de dados é muito mais complexa. Imagine que sua equipe acabou de herdar dezenas de milhares de PDFs legados e o CEO quer torná-los pesquisáveis o quanto antes. Processar tantos documentos complexos, muitos deles com tabelas e imagens, pode se tornar rapidamente um gargalo que leva semanas para resolver. A dura realidade é que a maioria dos projetos de IA consome a maior parte do tempo com a preparação de dados, e não com o treinamento e ajuste de modelos.

Em muitos casos, o maior obstáculo no desenvolvimento da RAG é a ineficiência dos pipelines de dados legados. A RAG aprimora as respostas de grandes modelos de linguagem (LLM) ao recuperar o contexto relevante de uma base de conhecimento. O processamento analisa, fragmenta e incorpora os documentos, armazenando-os em um banco de dados vetorial. No momento da consulta, o sistema recupera e fornece os blocos relevantes como contexto para o LLM. Isso melhora a precisão da resposta, pois ela agora se baseia nos dados da sua organização, conforme mostrado aqui:

Os frameworks tradicionais de processamento de dados geralmente não atendem às necessidades de IA. Isso ocorre porque eles não conseguem coordenar de maneira eficaz os diferentes requisitos de computação do fluxo de processamento com a análise e a incorporação de documentos. Para escalar a IA, as equipes corporativas devem adotar uma infraestrutura unificada que lide com a análise intensa de CPU e a incorporação intensa de GPU em um único processo simplificado.

Escale com Ray Data e Docling

O Ray Data é uma biblioteca de processamento distribuído desenvolvida especificamente para cargas de trabalho de IA e machine learning (ML). Seu mecanismo de execução de streaming processa dados em pipeline por tarefas de CPU e GPU, otimizando o uso da GPU e mantendo o consumo de memória constante. Por ser nativo em Python, ele elimina a sobrecarga de serialização ao traduzir dados entre ambientes de diferentes linguagens, permitindo ciclos de iteração mais rápidos para pipelines de RAG.

O Docling realiza a análise complexa onde as ferramentas tradicionais costumam falhar, garantindo que a IA tenha o contexto adequado para fornecer respostas úteis. Ao analisar com precisão tabelas e layouts em PDFs, o Docling preserva a estrutura semântica que torna a recuperação da RAG mais útil. Quando integrado ao Ray Data, cada nó executa uma instância do Docling com modelos especializados de IA carregados na memória (como para o processamento de layouts e tabelas), viabilizando o processamento distribuído de documentos com alto desempenho.

O Ray Data otimiza o processamento em larga escala ao particionar conjuntos de dados em blocos, os quais são transmitidos por meio de um cluster para viabilizar um paralelismo massivo. Nessa arquitetura, um driver do Ray Data gerencia o plano de execução e serializa o código da tarefa (como o processamento do Docling) para distribuição, enquanto os workers do Ray realizam a computação real. Esses workers leem blocos de dados diretamente do armazenamento e gravam em paralelo os arquivos JSON resultantes no destino, evitando que o driver se torne um gargalo, como demonstrado nesta arquitetura:

Arquitetura de processamento de dados de IA

• Driver do Ray: gerencia os ObjectRefs e o plano de execução, serializando o código do Docling para os workers.
• Blocos de streaming: os workers do Ray extraem dados diretamente do armazenamento de entrada em paralelo.
• Gravação em paralelo: cada worker grava sua saída JSON processada diretamente no armazenamento, evitando sobrecarregar o driver do Ray com a taxa de transferência de dados.

A integração lida automaticamente com toda a complexidade distribuída, incluindo agendamento, recuperação de falhas e gerenciamento de memória. O uso de computação heterogênea permite que as CPUs façam a análise enquanto as GPUs geram os embeddings de dados simultaneamente, garantindo o uso mais eficiente de recursos caros de GPU em todo o processo.

Confiabilidade empresarial com o Red Hat OpenShift AI

O OpenShift AI oferece a base empresarial por meio do KubeRay, orquestrando clusters do Ray no Kubernetes com recursos integrados de confiabilidade e segurança. O KubeRay lida com complexidades operacionais, como o escalonamento automático dinâmico de clusters, tolerância a falhas e recuperação automática em caso de falha nos nós workers. Isso permite escalar de 10 a 100 nós de forma transparente para atender às demandas de grandes tarefas de ingestão.

O fluxo de ponta a ponta é simples, conforme demonstrado a seguir:

O processo funciona da seguinte forma:

1. Documentos (por exemplo, PDFs) são gravados no armazenamento de objetos (como S3 ou PVC).
2. O pipeline do Ray Data no OpenShift AI lê esses documentos e os distribui entre os nós workers.
3. O Docling analisa os documentos nos nós workers, seguido pelo chunking para o modelo de embedding.
4. Os embeddings são gerados em nós de GPU e gravados em um banco de dados vetorial, como o Milvus.
5. Uma aplicação de RAG consulta o banco de dados, enviando o contexto para um LLM gerar respostas precisas.

A execução no OpenShift AI mantém o processamento de dados no cluster do Kubernetes, o que garante o cumprimento dos requisitos de residência de dados e viabiliza a implantação em nuvens privadas virtuais ou ambientes on-premises. Essa infraestrutura unificada reduz a sobrecarga operacional ao permitir a execução da preparação de dados e da disponibilização de modelos na mesma plataforma.

Perspectivas futuras: avance em direção a soluções com agentes de IA

O futuro da IA empresarial depende da evolução além da busca simples, rumo a soluções sofisticadas com agentes de IA. As organizações precisarão fortalecer e aprimorar ainda mais seus pipelines de dados para oferecer suporte a fluxos de trabalho de várias etapas com agentes de IA, nos quais agentes autônomos usam RAG e ajuste fino por recuperação aumentada (RAFT) para resolver problemas complexos. Ao combinar o contexto em tempo real da RAG com a capacidade do RAFT de "treinar" um modelo para ignorar ruídos irrelevantes de forma mais eficaz, as equipes podem desenvolver agentes significativamente mais precisos e confiáveis.

Organizações que investem em arquiteturas escaláveis hoje estarão mais bem posicionadas para implementar essas cadeias de inferência avançadas, nas quais várias chamadas de LLM ocorrem em sequência com alocação ideal de recursos. A transição para os agentes de IA significa que a qualidade dos dados processados é mais crítica do que nunca, pois os agentes dependem de documentação precisa para executar tarefas em nome dos usuários. Uma base robusta permite que essas implementações criativas de IA atendam aos padrões corporativos de consistência e segurança.

Em última análise, o objetivo é tornar as informações fáceis de compreender e utilizar por esses agentes de IA. Acreditamos que o sucesso em IA generativa começa ao tornar as informações complexas acessíveis por meio de uma base open source com governança corporativa. Ao estabelecer uma plataforma robusta e unificada agora, as empresas podem ajudar suas iniciativas com agentes de IA a entregar valor de longo prazo e a promover a confiança dos usuários.

Conclusão

O Red Hat OpenShift AI e o Anyscale fornecem as ferramentas necessárias para transformar documentos complexos em inteligência acionável. Ao eliminar o gargalo de processing de dados com Ray Data e Docling, ajudamos as organizações a focar no que mais importa — resolver problemas do mundo real.

Inscreva-se no Red Hat Summit 2026 para se conectar com nossa equipe e explorar o futuro da IA em produção. Você também pode experimentar o OpenShift AI no Red Hat Developer Sandbox com acesso gratuito por 30 dias a um ambiente totalmente gerenciado onde poderá testar essas ferramentas.