에이전틱 패러독스와 하이브리드 AI의 필요성

기술 산업이 비즈니스 프로세스를 완전 자율적인 에이전틱 워크플로우로 전환하기 위해 에이전틱 소프트웨어 개발을 빠르게 도입하고 있다는 사실은 더 이상 비밀이 아닙니다. 이러한 툴의 성능이 강력하다는 점은 분명하지만, 현재의 소비 모델은 과제를 안고 있습니다. 이러한 솔루션은 대부분 클라우드 패러독스의 AI 버전을 초래할 수 있는 서비스로서의 모델(Model-as-a-Service) 접근 방식을 활용하여 제공됩니다. 에이전틱 패러독스

이 역설은 간단합니다. 비즈니스 프로세스의 속도를 높이는 가장 빠른 방법은 강력한 프론티어 모델을 사용하는 것입니다. 그러나 도입 규모가 확대됨에 따라 이러한 전략을 지속하기는 어려워집니다. 토큰 비용은 수익성을 악화시키고, 예측할 수 없는 대기 시간은 성능을 저하시킬 수 있으며, 민감한 데이터를 퍼블릭 API로 라우팅하는 행위는 기밀성, 주권 및 규제 요건에 위배될 수 있습니다. 이러한 문제를 해결하려면 기업은 단순한 소비를 넘어 선택권을 우선시하는 하이브리드 아키텍처 전략으로 전환해야 합니다.  

혁신 비용

이미 가시적인 마찰 지점들이 나타나고 있습니다. 일부 리포트에 따르면, 기업들은 2분기 중반에 이미 토큰 사용으로 인해 전체 클라우드 지출 예산을 소진하는 것으로 나타났습니다. 이제 비용, 성능, 데이터에 대한 제어 권한을 다시 확보하기 위해 모델 추론에 대한 새로운 접근 방식이 필요한 중요한 시점에 도달했습니다. 

어제의 혁신에 대한 청구서가 내일 도착한다면 조직은 어떻게 대응할까요? 우리는 단순히 모델을 사용하는 시대를 넘어서고 있습니다. 이제는 모델을 지원하는 시스템을 설계해야 합니다. 도입은 하이브리드 패턴을 따를 가능성이 높습니다. 일부 토큰은 프론티어 모델에서 소비되는 반면, 일부는 퍼블릭 클라우드 또는 엔터프라이즈 데이터 센터에서 자체 관리됩니다.

시스템 중심 사고방식

Red Hat의 Research and Emerging Technologies 그룹은 인텔리전스 계층과 인프라 계층 간의 관계에 중점을 두고 있으며, 최근 구축된 AI 에이전트를 위해 강화된 이미지 기반 토대와 같은 혁신적인 오픈소스 커뮤니티 프로젝트를 추진하고 있습니다. 오픈소스는 AI 워크로드를 기존 엔터프라이즈 소프트웨어와 동일하게 엄격하게 처리함으로써 프로덕션 환경에 필요한 안정성을 제공합니다. 

이러한 아키텍처 전환을 통해 조직은 모델 중심의 관점에서 벗어나 시스템 중심의 사고방식으로 전환할 수 있습니다. 이 모델에서는 단일 공급업체의 API가 아닌 전체 스택의 안정성에서 가치를 찾을 수 있습니다.

선택을 위한 메커니즘

기업이 재정적 안정을 되찾고 하이브리드 제어 및 일관성을 위한 토대를 마련하려고 노력함에 따라, 초기에는 대개 추론 프록시나 라우터를 사용하는 경로를 택하게 됩니다. 이는 아키텍처 변경을 최소화하면서 기존 에이전틱 구현의 운영 중단 없이 추론 비용을 절감할 수 있는 접근 방식입니다. 추론 엔드포인트를 일관되게 유지하면 서비스 공급업체를 변경하거나 더 나은 가치를 제공하는 자체 관리형 모델로 전환하기가 용이해집니다. 

Red Hat이 vLLM Semantic Router와 llm-d영어 (English) 버전으로 제공됩니다 (한국어 미지원)와 같은 프로젝트를 개발한 이유는 인공지능 분야의 참신한 아이디어를 탐색하고, vLLM Semantic Router의 사례와 같이 추론 라우팅 및 토큰 경제를 연구하기 위해서입니다. 이러한 선구적인 연구와 개발은 결국 Red Hat 플랫폼을 형성하는 기반이 됩니다. vLLM Semantic Router와 같은 프로젝트는 멀티모달 환경을 탐색하는 데 필요한 지능적이고 효율적인 라우팅을 제공하며, 이러한 라우팅 인텔리전스 레이어를 소유함으로써 조직은 모든 인프라에서 워크로드에 대한 제어력을 다시 확보할 수 있습니다.

하이브리드 현실

추론 라우팅을 넘어 조직의 다음 단계는 자체 관리형 솔루션을 탐색하는 것입니다. 이는 자체 인프라에서 호스팅되며 vLLM과 같은 고성능 추론 플랫폼을 통해 제공되는 최신 오픈 웨이트 모델 오퍼링을 사용하는 것을 의미합니다. 

그러면 다음과 같은 핵심 과제가 발생합니다. 조직이 서비스로서의 모델(Model-as-a-Service)을 통해 개발된 강력한 에이전트 기반 비즈니스 프로세스를 오픈 웨이트 모델로 대체하려면 어떻게 해야 할까요? 기업이 Model-as-a-Service 패턴을 복제하여 토큰 소비자에서 벗어나 AI 제공업체로 전환하려면 어떻게 해야 할까요? 이 전환 과정에서 어떤 장단점에 직면하게 될까요? 효율성을 떨어뜨리지 않고 어떻게 성공적으로 수행할 수 있을까요?

모든 기업은 수년간 축적된 고유한 데이터를 보유하고 있지만, 퍼블릭 도메인에서 학습된 모델은 이러한 구체적인 컨텍스트와 학습이 부족합니다. 로컬에서 실행되는 오픈 웨이트 모델을 이러한 프라이빗 데이터 소스와 결합하여 에이전트의 정확도와 기능을 안전하게 강화할 수 있습니다. 일부 오픈 웨이트(open weight) 모델은 즉각적인 대체재로 활용될 수 있는 반면, 다른 모델들은 파인튜닝(미세 조정), 지식 증류(distillation), 강화 학습을 통해 성능 격차를 좁히는 추가 작업이 필요합니다. 강화 학습이 시장에 본격적으로 도입됨에 따라 이러한 모델과 그에 따른 에이전틱 워크로드의 정확성이 더욱 향상될 것입니다. 이러한 경로는 궁극적으로 하이브리드 아키텍처로 이어집니다. 일부 모델은 핵심 워크로드를 위해 자체 관리형으로 유지되는 반면, 타사의 관리형 서비스 인터페이스를 통해 사용되는 모델도 있습니다. 

Red Hat은 하이브리드 솔루션에 특화되어 있습니다. Red Hat Enterprise Linux와 Red Hat OpenShift를 통해 클라우드 사용을 위한 하이브리드 플랫폼을 제공한 것과 마찬가지로, Red Hat AI Enterprise는 사용 중인 모델이나 호스팅 위치에 관계없이 에이전트 배포 및 추론을 위한 하이브리드 플랫폼을 제공하여 오픈소스를 통해 선택의 자유가 실현됨을 증명합니다. AI의 미래는 하이브리드이며, 이러한 미래를 구축할 플랫폼은 이미 Red Hat에 준비되어 있습니다.

Red Hat 경영진과 고객 및 파트너의 더 자세한 의견을 듣고 싶다면 YouTube에서 Red Hat Summit 기조 연설을 실시간으로 시청해 보세요.

• 차세대 플랫폼의 핵심은 선택권의 자율성 - 5월 12일(화), 오전 8:30~10:00 EDT
• AI 레디 엔터프라이즈의 실현 - 5월 13일(수), 오전 9:00~10:00 EDT

Red Hat Summit에 대해 살펴보고, 이번 주 Red Hat의 모든 발표 소식을 Red Hat Summit 뉴스룸에서 확인해 보세요. 이벤트 관련 최신 업데이트를 확인하려면 X에서 @RedHatSummit을 팔로우하거나 #RHSummit 해시태그를 찾아보세요.