RAG 병목 현상 해결: Ray Data와 Docling을 활용한 확장 가능한 문서 처리

엔터프라이즈 팀은 검색 증강 생성(RAG)과 같은 생성형 AI(생성형 AI) 애플리케이션을 구축할 때 '데이터 병목 현상'으로 어려움을 겪는 경우가 많습니다. 기존 문서 처리 도구로는 수천 개의 복잡한 문서를 효율적으로 처리하기 어렵기 때문입니다. 이 블로그 포스트에서는 고속 스트리밍을 위한 Ray Data와 정밀한 문서 구문 분석을 위한 Docling을 결합한 통합 인프라가 이러한 장애물을 어떻게 제거하는지 살펴봅니다. 조직은 Red Hat Openshift AI 또는 Anyscale과 같은 플랫폼에서 이러한 도구를 확장함으로써 복잡한 비정형 데이터를 며칠이 아닌 몇 시간 만에 실행 가능한 인사이트로 전환하여, 차세대 AI 혁신의 물결을 위한 신뢰와 안정성의 기반을 마련할 수 있습니다.

Anyscale은 현재 PyTorch Foundation의 일부인 분산 컴퓨팅 프레임워크 Ray를 개발한 기업입니다. Anyscale은 AI 플랫폼도 제공합니다. 

Red Hat OpenShift AI는 조직이 AI를 개발하고 배포할 수 있는 확장 가능한 플랫폼을 제공합니다. Red Hat OpenShift AI는 KubeRay를 사용하여 쿠버네티스에서 Ray 클러스터를 실행하며, 이를 통해 향상된 안정성과 자동 스케일링을 제공합니다. OpenShift AI는 문서 구문 분석을 위한 Docling을 추가하여, 팀이 단일 시스템에서 CPU와 GPU 작업을 관리할 수 있도록 지원합니다. 이를 통해 오버헤드를 줄이고 AI 애플리케이션의 배포 속도를 높일 수 있습니다. 

RAG 데이터 병목 현상의 실상

데모를 보면 생성형 AI를 구축하는 것이 쉬워 보이지만, 실제 데이터 준비와 처리 과정은 훨씬 더 복잡합니다. 여러분의 팀이 수만 개의 레거시 PDF를 새로 넘겨받았고, CEO가 이를 가능한 한 빨리 검색할 수 있기를 원한다고 상상해 보세요. 표와 이미지가 포함된 수많은 복잡한 문서를 처리하는 작업은 빠르게 병목 현상으로 이어져, 이를 해결하는 데 몇 주가 걸릴 수 있습니다. 실제 현실은 대부분의 AI 프로젝트가 모델을 훈련하고 튜닝하기보다 데이터를 준비하는 데 대부분의 시간을 보낸다는 점입니다.

대부분의 경우, RAG 개발에서 가장 큰 장애물은 레거시 데이터 파이프라인의 비효율성입니다. RAG는 지식 베이스에서 관련 컨텍스트를 검색하여 대규모 언어 모델(LLM)의 응답을 개선합니다. 문서는 처리(파싱, 청크 분할, 임베딩) 과정을 거쳐 벡터 데이터베이스에 저장됩니다. 쿼리 시 관련 청크가 검색되어 LLM에 컨텍스트로 제공되며, 아래와 같이 조직의 데이터를 기반으로 하므로 응답 정확도가 향상됩니다.

기존의 데이터 처리 프레임워크는 문서 구문 분석과 임베딩에 따른 데이터 처리 흐름의 서로 다른 컴퓨팅 요구 사항을 효과적으로 조정하지 못하기 때문에, AI의 요구 사항을 충족하지 못하는 경우가 많습니다. AI를 확장하기 위해 엔터프라이즈 팀은 CPU 부하가 큰 구문 분석과 GPU 부하가 큰 임베딩을 단일의 간소화된 프로세스에서 모두 처리하는 통합 인프라로 전환해야 합니다.

Ray Data와 Docling을 활용한 확장

Ray Data는 AI와 머신 러닝(ML) 워크로드를 위해 특별히 구축된 분산 처리 라이브러리입니다. Ray Data의 스트리밍 실행 엔진은 CPU와 GPU 작업 전반에서 데이터를 파이프라인하여 메모리 사용량을 일정하게 유지하면서 GPU 활용도를 개선합니다. Ray Data는 Python 네이티브 환경을 지원하므로 다양한 언어 환경 간에 데이터를 변환하는 직렬화 오버헤드가 제거되어 RAG 파이프라인의 반복 주기를 단축할 수 있습니다.

Docling은 기존 도구에서 종종 오류가 발생하는 복잡한 구문 분석을 처리하여 AI가 유용한 답변을 제공할 수 있는 올바른 컨텍스트를 갖도록 돕습니다. Docling은 PDF의 표와 레이아웃을 정확하게 분석하여 의미 구조를 보존함으로써 RAG 검색을 더욱 유용하게 만듭니다. Ray Data와 통합되면 각 노드는 메모리에 전문가 AI 모델(예: 레이아웃과 표 처리)이 임베딩된 Docling 인스턴스를 실행하여 고성능 분산 문서 처리를 지원합니다.

Ray Data는 데이터세트를 블록으로 분할하여 대규모 처리를 간소화합니다. 이 블록들은 클러스터를 통해 스트리밍되어 대규모 병렬 처리를 가능하게 합니다. 이 아키텍처에서 Ray Data 드라이버는 실행 계획을 관리하고 배포를 위해 작업 코드(예: Docling 처리)를 직렬화하는 한편, Ray 워커는 실제 컴퓨팅을 처리합니다. 이러한 작업자는 스토리지에서 직접 데이터 블록을 읽고 결과 JSON 파일을 대상에 병렬로 쓰기 때문에, 이 아키텍처에서 볼 수 있듯이 드라이버가 병목이 되지 않습니다.

AI 데이터 처리 아키텍처

• Ray 드라이버: ObjectRefs와 실행 계획을 관리하고, 작업자를 위해 Docling 코드를 직렬화합니다.
• 스트리밍 블록: Ray 작업자는 입력 스토리지에서 직접 데이터를 병렬로 가져옵니다.
• 병렬 쓰기: 각 작업자는 처리된 JSON 출력을 스토리지에 직접 기록하므로, Ray 드라이버가 데이터 처리량으로 인해 과부하되지 않습니다.

이 통합 솔루션은 스케줄링, 장애 복구, 메모리 관리 등 분산 환경의 모든 복잡성을 자동으로 처리합니다. 이기종 컴퓨팅을 사용하면 CPU가 구문 분석을 수행하는 동시에 GPU가 데이터를 임베딩할 수 있으므로, 전체 프로세스에서 비용이 많이 드는 GPU 리소스를 더욱 효율적으로 활용할 수 있습니다.

Red Hat OpenShift AI 기반의 엔터프라이즈 신뢰성

OpenShift AI는 KubeRay를 통해 엔터프라이즈 기반을 제공하며, 내장된 안정성과 보안 기능을 활용하여 쿠버네티스에서 Ray 클러스터를 오케스트레이션합니다. KubeRay는 동적 클러스터 오토스케일링, 내결함성, 그리고 작업자 노드 장애 시 자동 복구와 같은 운영상의 복잡한 요소를 처리합니다. 이를 통해 대규모 수집 작업의 요구 사항에 맞춰 노드를 10개에서 100개까지 투명하게 확장할 수 있습니다.

엔드투엔드 흐름은 다음과 같이 간단합니다.

프로세스는 다음과 같습니다.

1. 문서(예: PDF)가 오브젝트 스토리지에 저장됩니다(예: S3, PVC).
2. OpenShift AI의 Ray Data 파이프라인이 이 문서를 읽고 작업자 노드에 분산합니다.
3. 작업자 노드에서 Docling이 문서를 분석한 후, 임베딩 모델에 맞게 청킹 작업을 수행합니다.
4. GPU 노드에서 임베딩을 생성하고 이를 Milvus와 같은 벡터 데이터베이스에 기록합니다.
5. RAG 애플리케이션이 데이터베이스를 쿼리하고 해당 컨텍스트를 LLM에 제공하여 정확한 응답을 생성합니다.

OpenShift AI에서 프로세스를 실행하면 데이터 처리가 쿠버네티스 클러스터 내부에서 이루어지므로, 데이터 상주 요구 사항을 수월하게 충족할 수 있으며 가상 프라이빗 클라우드나 온프레미스 환경에도 유연하게 배포할 수 있습니다. 이러한 단일 인프라는 동일한 플랫폼에서 데이터 준비와 모델 서빙을 모두 실행할 수 있게 지원하여 운영 오버헤드를 줄여 줍니다.

향후 전망: 에이전틱 솔루션으로의 전환

엔터프라이즈 AI의 미래는 단순한 검색을 넘어 정교한 에이전틱 솔루션으로 나아가는 데 달려 있습니다. 조직은 자율 에이전트가 RAG와 검색 증강 미세 조정(RAFT)을 사용하여 복잡한 문제를 해결하는 다단계 에이전틱 워크플로우를 지원할 수 있도록 데이터 파이프라인을 더욱 강화하고 개선해야 합니다. RAG의 실시간 컨텍스트와 무관한 노이즈를 더 효과적으로 무시하도록 모델을 '학습'시키는 RAFT의 기능을 결합함으로써, 팀은 훨씬 더 정확하고 신뢰할 수 있는 에이전트를 구축할 수 있습니다.

현재 확장 가능한 아키텍처에 투자하는 기업은 최적의 리소스 할당을 통해 여러 LLM 호출이 순차적으로 실행되는 고급 추론 체인을 구현하는 데 있어 더 유리한 위치를 확보할 수 있습니다. 에이전틱 AI로의 전환에 따라, 에이전트가 사용자를 대신해 작업을 실행하려면 정확한 문서에 의존해야 하므로 처리된 데이터의 품질이 그 어느 때보다 중요해졌습니다. 강력한 기반을 통해 이러한 창의적인 AI 구현이 일관성과 안전성에 대한 엔터프라이즈 표준을 충족할 수 있습니다.

궁극적인 목표는 이러한 AI 에이전트가 정보를 쉽게 파악하고 작업에 활용할 수 있도록 하는 것입니다. 생성형 AI의 성공은 엔터프라이즈 거버넌스를 갖춘 오픈소스 기반을 통해 복잡한 정보에 쉽게 접근할 수 있도록 지원하는 데서 시작된다고 믿습니다. 지금 강력하고 통합된 플랫폼을 구축함으로써, 기업은 에이전틱 이니셔티브를 통해 장기적인 가치를 제공하고 사용자와의 신뢰를 구축할 수 있습니다.

결론

Red Hat OpenShift AI와 Anyscale은 복잡한 문서를 실행 가능한 인텔리전스로 전환하는 데 필요한 도구를 제공합니다. Ray Data와 Docling으로 데이터 처리 병목 현상을 제거함으로써, 조직이 가장 중요한 과제인 실제 문제를 해결하는 데 집중할 수 있도록 지원합니다.

Red Hat Summit 2026에 등록하여 Red Hat 팀과 소통하고 프로덕션 AI의 미래를 살펴보세요. 또한 Red Hat Developer Sandbox에서 OpenShift AI를 체험해 보실 수 있습니다. 이러한 도구를 테스트할 수 있도록 30일 동안 완전 관리형 환경에 무료로 액세스할 수 있는 권한이 제공됩니다.