보이지 않는 비용: 왜 엔터프라이즈 AI에는 오픈소스가 중요한가

저는 이전 블로그에서 AI 추론을 AI 프로젝트의 신경계, 즉 사용자 경험을 좌우하는 중요하고도 종종 눈에 띄지 않는 인프라에 비유했습니다. 챗봇이든 복잡한 애플리케이션이든 원칙은 동일합니다. 신경계가 흔들리면 다른 모든 것도 함께 흔들립니다. 

그러나 신경계는 독립적으로 작동하지 않습니다. 신경계는 신체의 나머지 부분에 의존하며 수많은 다른 시스템이 조화롭게 작동합니다. 엔터프라이즈 AI는 기본적으로 동일합니다. 개별 모델, 격리된 인프라 구성 요소, 파편화된 오케스트레이션 또는 연결되지 않은 애플리케이션만으로는 의미 있는 가치를 제공할 수 없습니다. 진정한 영향력은 이러한 요소들이 서로 연결되어 통합된 고성능 전체를 형성할 때만 가능합니다. 

블랙박스의 위험

AI 도입에는 여러 가지 경로가 있습니다. 일부는 폐쇄형, 이른바 “블랙박스” 시스템으로 시작합니다. 이러한 시스템은 사전 패키징된 플랫폼으로, 간편하게 시작하고 실행할 수 있습니다. 이는 훌륭한 진입점이 될 수 있지만 장단점이 있습니다. 모델이 어떻게 훈련되었는지 알 수 없는 경우 해당 동작을 설명하거나, 편향을 해결하거나, 컨텍스트에서 정확성을 확인하기가 어려울 수 있습니다. 실제로 2025년 IBM 설문조사에 따르면 비즈니스 리더의 45%가 AI 도입의 가장 큰 장애물로 데이터 정확성 또는 편향을 꼽았습니다. 시스템 내부를 볼 수 없다면 결과를 신뢰할 수 없습니다. 적응(adaptation)이 대체로 겉핥기식 미세 조정(fine-tuning)이나 프롬프트 요령에 그치다 보니, 모델을 비즈니스 요구에 맞게 진정으로 최적화하기가 어렵습니다.

더욱 중요한 점은 이러한 모델이 실행되는 위치와 방법을 거의 제어하지 못한다는 점입니다. 단일 제공업체의 인프라에 묶여 있기 때문에 디지털 주권을 인정하고 다른 사람의 로드맵을 수용해야 합니다. 이러한 단점들은 빠르게 드러납니다. 최적화할 수 없는 비용, 최종 사용자의 '이유'에 대한 질문에 답변할 수 없는 상황, 그리고 규제 기관이 민감한 데이터 처리 위치를 문의할 때 발생하는 컴플라이언스 위험 등이 그 예입니다. 

오픈소스 기술은 투명성과 유연성을 기반으로 구축된 다른 경로를 제공합니다. 내부를 살펴보고, 자체 데이터로 모델을 조정하고, 비즈니스에 가장 적합한 환경에서 실행할 수 있습니다. vLLM 및 llm-d(추론 최적화용), InstructLab(모델 조정 및 미세 조정용)과 같은 커뮤니티 주도 프로젝트는 개방형 협업이 선택과 제어를 가능하게 하는 강력한 예시입니다. 이러한 제어 능력은 AI 전략을 직접 주도하는 것과 다른 사람이 대신 주도하고 있었다는 사실을 너무 늦게 깨닫는 것의 차이를 만듭니다.

Red Hat AI

이것이 바로 Red Hat AI의 철학입니다. 이는 AI 구축을 지원할 뿐만 아니라 각 요소가 서로 연동되도록 설계된 제품 포트폴리오입니다. 결국 IT 및 AI 전략의 민첩성, 신뢰성, 주권을 정의하는 것은 이러한 요소들을 어떻게 연결하느냐에 달려 있습니다.

Red Hat AI 포트폴리오에는 다음이 포함됩니다.

• Red Hat AI Inference Server: 일관되고 빠르며 비용 효율적인 추론을 제공합니다. 해당 런타임인 vLLM은 처리량을 극대화하고 대기 시간을 최소화합니다. 최적화된 모델 리포지토리는 모델 제공을 가속화하는 반면, LLM 컴프레서는 정확성을 유지하면서 컴퓨팅 사용률을 줄이는 데 도움이 됩니다.
• Red Hat Enterprise Linux AI: 개별 서버 환경에서 LLM을 실행하기 위한 기반 모델 플랫폼을 제공합니다. 이 솔루션에는 Red Hat AI Inference Server가 포함되어 있으며, 추론에 최적화된 변경 불가능한 특수 용도의 어플라이언스를 제공합니다. OS와 애플리케이션을 함께 패키징하는 RHEL AI는 하이브리드 클라우드 전반에서 모델 추론을 최적화하기 위해 첫날 운영을 촉진합니다.
• Red Hat OpenShift AI: 하이브리드 클라우드 환경 전반에서 AI 지원 애플리케이션과 예측 및 기반 모델을 대규모로 구축, 교육, 튜닝, 배포, 모니터링할 수 있는 AI 플랫폼을 제공합니다. Red Hat OpenShift AI는 신뢰할 수 있는 AI 솔루션을 구현할 때 AI 혁신을 가속화하고, 운영 일관성을 높이고, 리소스에 대한 액세스를 최적화하도록 지원합니다. 

오픈소스 기반 위에 구축되고 엔터프라이즈급 지원을 받는 Red Hat AI는 AI 구성 요소가 데이터센터, 클라우드, 엣지 환경 전반에서 원활하게 연동되도록 지원합니다. 이러한 접근 방식을 통해 현재 또는 미래의 IT 의사 결정을 저해하지 않고 모든 모델을 모든 액셀러레이터, 모든 클라우드에서 실행할 수 있습니다.

Red Hat AI를 사용하면 선호하는 클라우드를 선택하고, 원하는 액셀러레이터를 사용하고, 이미 보유한 툴을 확장할 수 있습니다. 이 플랫폼은 기존 환경에 맞게 조정되는 동시에 향후 환경에 필요한 유연성을 유지합니다.

에코시스템 전반의 가치

Red Hat AI는 파트너에게 비용이 많이 드는 재작업이나 운영 중단 없이 고객이 이미 신뢰하는 환경에 직접 드롭되는 솔루션을 제공할 수 있는 기능을 제공합니다. 기업에 유연성을 제공하는 동일한 개방성을 통해 파트너는 도입을 앞당기고 더욱 일관된 경험을 제공할 수 있습니다. 개방성은 진정한 윈-윈(win-win)을 실현합니다. 기업은 제어 능력과 민첩성을 확보하고, 파트너는 단일 벤더의 플레이북에 얽매이지 않고 기회와 수익을 확장할 수 있습니다. 그 결과, 전체 에코시스템에서 더 빠르게 가치를 실현할 수 있습니다.

DenizBank는 실제 사례를 보여줍니다. OpenShift AI를 도입하기 전에 데이터 과학자들은 종속성을 설정하고 인프라를 관리하는 작업이 느리고 오류가 발생하기 쉬운 수동 환경에 시달리고 있었습니다. 기존 플랫폼 위에 OpenShift AI를 계층화하고 GitOps를 사용하여 실험에서 프로덕션에 이르는 전체 AI 라이프사이클을 관리함으로써 환경 설정 시간을 일주일에서 약 10분으로 단축했습니다. 새로운 마이크로서비스 및 모델 배포 시간이 며칠에서 몇 분으로 단축되었습니다. 현재 120명 이상의 데이터 과학자가 셀프 서비스 환경과 표준화된 툴을 사용하여 GPU 리소스를 더 효율적으로 사용할 수 있습니다. 엔터프라이즈 AI 스택이 연동되도록 구축되면 이러한 속도, 조정, 확장성을 실현할 수 있습니다.

커뮤니티 기반 AI

바로 여기에서 하나의 제품보다 스토리가 더 중요해집니다. 규모에 따른 AI는 한 기업이 단독으로 수행할 수 있는 것이 아닙니다. 이를 위해서는 인프라, 액셀러레이터, 오케스트레이션 계층, 오픈소스 프로젝트, 엔터프라이즈 플랫폼, 그리고 무엇보다 이를 연결하는 커뮤니티가 필요합니다.

오래 지속되는 기술은 독립적으로 구축되지 않습니다. 개방형 환경에서 구축되고 커뮤니티에서 스트레스 테스트를 거쳤으며, 단일 벤더가 예측할 수 없는 다양한 활용 사례에 맞게 조정되어 실제 환경에서 복원력과 사용성을 높입니다. 이처럼 Linux는 엔터프라이즈 컴퓨팅의 근간이 되었으며, 오픈소스는 AI의 다음 시대를 주도할 것입니다.

모든 조직의 AI 여정은 다릅니다. Red Hat AI는 실험, 확장 또는 운영화 과정에서 목표를 더 빠르게 달성하도록 지원합니다. 포트폴리오에 대해 자세히 알아보거나, 담당자에게 문의하여 귀사에 적합한 경로에 대해 논의해 보세요.