비용 부담 없고 스케일에 적합한 AI: 기업이 Models-as-a-Service(MaaS)로 전환하는 이유

기업들이 AI 솔루션 도입을 가속화하면서 퍼블릭 모델을 사용하는 비용이 갈수록 증가하고 있습니다. 그런데 퍼블릭 모델은 엔터프라이즈 데이터가 제3자에게 노출될 위험을 가중시키는 결과를 초래했습니다. Models-as-a-Service(MaaS) 접근 방식은 기업이 전사적 공유 리소스로 사용할 수 있는 오픈소스 모델(그리고 필수 AI 기술 스택)을 제공하도록 지원합니다.

한편 기업의 AI 도입이 가속화됨에 따라 비즈니스 그룹별로 다양한 활용 사례(챗봇, 코드 어시스턴트, 텍스트/이미지 생성 등)를 다루는 자체 맞춤형 AI 솔루션을 구축하기 위해 노력하기 때문에 일관성 결여의 문제가 자주 발생합니다. 

Models-as-a-Service(MaaS) 더 보기 

IDC는 AI 도입 동향에 대한 인사이트를 통해 기업이 기회 확인 솔루션에서 조직 전체를 혁신할 수 있는 관리형 솔루션으로 이전하는 방법을 설명합니다.

비즈니스 그룹마다 특정 활용 사례를 해결하기 위해 다양한 유형의 AI 모델이 필요한 경우가 많습니다. 다음은 몇 가지 예시입니다.

• 생성형 AI 모델: 텍스트 또는 이미지와 같은 새로운 콘텐츠를 생성하는 데 사용
• 예측 AI 모델: 데이터의 패턴을 분류하거나 예측하는 데 사용
• 미세 조정된 AI 모델: 기업 또는 도메인별 데이터로 커스터마이징된 모델
• 검색 증강 생성(RAG): 기업 또는 도메인별 데이터로 일반 모델 정보를 강화

OpenAI, Claude, Gemini와 같은 타사 호스팅 서비스를 통해 액세스할 수 있는 생성형 AI 모델은 시작하기는 쉽지만 대규모로 사용하면 가격이 매우 상승합니다. 또한 엔터프라이즈 데이터가 이러한 타사에 노출될 수 있으므로 데이터 프라이버시와 보안 문제도 발생합니다. 생성형 AI 및 기타 모델도 기업에서 자체 호스팅할 수 있지만, 이로 인해 다양한 비즈니스 그룹 전반에서 작업이 중복되어 비용과 시장 출시 시간이 증가할 수 있습니다.

새로운 생성형 AI 모델이 격주로 출시되고 AI 발전 속도가 빨라짐에 따라 기업이 이를 따라잡기가 거의 불가능해지고 있습니다. 모델에는 대규모(매개 변수가 4,500억 개인 모델)에서 이러한 대규모 모델의 소규모 버전(양자화되거나 매개 변수가 적은 모델), 혼합형 전문가 모델에 이르기까지 수십 가지 옵션이 있습니다. 많은 개발자가 적합한 모델을 선택하거나 값비싼 리소스(예: GPU)의 사용을 최적화하는 데 필요한 전문 지식이 부족합니다. 

각 비즈니스 그룹이 자체 AI 솔루션을 구축함에 따라 기업은 다음과 같은 몇 가지 과제에 직면하게 됩니다.

• 높은 비용: AI 모델을 배포하고 유지 관리하려면 값비싼 GPU 클러스터, 머신 러닝(ML) 전문 지식, 지속적인 미세 조정이 필요합니다. 사내에서 모델을 학습시키고 미세 조정하는 경우 컴퓨팅, 스토리지, 인재에 수백만 달러의 비용이 들 수 있습니다. 또한 중앙화된 거버넌스 없이는 모델 비용을 예측할 수 없습니다.
• 중복: 부족한 AI 리소스가 중복되거나 활용도가 낮을 경우 예산이 낭비될 수 있습니다.
• 복잡성: 개발자는 모델에 대한 액세스만 원하고 인프라 복잡성이나 지속적으로 진화하는 AI 스택을 처리하는 것을 원하지 않습니다.
• 기술 부족: 기업에는 사용자 정의 모델을 구축하는 데 필요한 ML 엔지니어, 데이터 사이언티스트, AI 연구원이 부족합니다.
• 운영 제어: 여러 비즈니스 그룹이 자체적으로 독립된 AI 솔루션을 구축하려고 하기 때문에 기업이 스케일링, 버전 관리, 모델 드리프트 문제로 어려움을 겪습니다.

큰 비용을 들이지 않고도 AI 추진력을 활용할 수 있는 더 나은 접근 방식이 기업에게 필요합니다.

MaaS를 통한 문제 해결

기업은 MaaS를 통해 공유 리소스로 사용할 수 있는 오픈소스 모델(그리고 필수 AI 스택)을 제공할 수 있습니다. 사실상 엔터프라이즈 IT는 전사적으로 사용할 수 있는 AI 서비스의 제공자가 됩니다. 

사용자는 최첨단 프론티어 모델부터 규모는 더 작지만 매우 적은 비용으로 유사한 성능을 제공하는 양자화된 언어 모델 또는 소규모 언어 모델(SLM)까지 여러 옵션에서 선택할 수 있습니다. 모델은 프라이빗 엔터프라이즈 데이터를 사용하여 튜닝 및 커스터마이징할 수 있으며 상대적으로 성능이 낮은 하드웨어에서 실행할 수 있으므로 에너지 소비가 줄어듭니다. 다양한 활용 사례와 배포 환경을 다루기 위한 여러 인스턴스의 모델이 있을 수 있습니다. 이러한 모델은 모두 가용 하드웨어 리소스를 최대한 활용할 수 있도록 효율적으로 서빙됩니다.

그러면 개발자는 AI 애플리케이션 빌드에 집중할 수 있고 기반 인프라 복잡성(예: GPU)에 신경 쓸 필요가 없어 모델에 쉽게 액세스할 수 있습니다. 

엔터프라이즈 IT는 다양한 비즈니스 그룹의 모델 사용을 모니터링하고 AI 서비스 사용에 대한 비용을 청구할 수 있습니다. 또한 IT는 AI 관리 모범 사례를 적용하여 모델 배포 및 유지 관리(예: 버전 관리, 회귀 테스트)를 간소화할 수 있습니다.

다음은 IT가 기업의 프라이빗 AI 제공자가 될 때 얻을 수 있는 몇 가지 장점입니다.

• 복잡성 감소: 중앙화된 MaaS로 사용자의 AI 인프라 복잡성 제거
• 비용 절감: 모델 추론 서비스를 중앙에서 제공하여 비용 절감
• 보안 강화: 타사 호스팅 모델을 사용하지 않음으로써 기존 보안, 데이터 및 개인 정보 취급 방침 준수
• 혁신 가속화: 모델 배포 속도 단축과 이와 관련된 혁신으로 AI 애플리케이션의 시장 출시 시간 단축
• 중복 방지: 다양한 그룹에서 부족한 AI 리소스의 중복을 방지하므로 데이터 사이언티스트가 일반적인 엔터프라이즈 태스크에 필요한 최적화된 모델 제공 가능
• 선택의 자유: 벤더 종속성을 제거하는 동시에 AI 워크로드의 이식성 유지

MaaS 구성 요소

이 MaaS 솔루션 스택은 Red Hat OpenShift AI, API 게이트웨이(Red Hat 3scale API Management의 일부), Red Hat SSO(Single Sign-On)로 구성됩니다. 그리고 단일 플랫폼에서 엔드 투 엔드 AI 거버넌스, 제로 트러스트 액세스(Keycloak의 Red Hat 빌드), AI 추론 서버(vLLM), 하이브리드 클라우드 유연성(OpenShift AI)을 제공합니다. 또한 Red Hat OpenShift를 통해 일관된 툴링을 사용하여 솔루션을 온프레미스와 클라우드에 배포합니다.

지금부터 각 구성 요소에 대해 자세히 살펴보겠습니다.

API 게이트웨이

API 게이트웨이는 엔터프라이즈급 모델 API 제어를 제공합니다. 이 솔루션 스택은 3Scale API 게이트웨이를 기반으로 하지만, 모든 엔터프라이즈급 API 게이트웨이를 대신 사용할 수 있습니다. 이 API 게이트웨이의 장점은 다음과 같습니다.

• 보안 및 컴플라이언스
  • LLM 액세스를 위해 JWT/OAuth2를 통한 API 인증 시행
  • LLM 서비스를 오가는 모든 API 트래픽 암호화
  • 컴플라이언스(GDPR, HIPAA, SOC2)에 대한 감사 로그
• 사용량 최적화
  • 요금 제한 및 할당량을 설정하여 비용 초과 방지
  • 팀/프로젝트별 LLM API 사용 모니터링
  • 사용하지 않거나 과도하게 사용하는 엔드포인트 식별
• 하이브리드 배포 지원
  • 클라우드/온프레미스 전반에서 API를 일관성 있게 관리(OpenShift 통합 활용)
  • 프라이빗 LLM 인스턴스를 위한 전용 API 게이트웨이 배포
• 개발자 지원
  • LLM API 검색을 위한 셀프 서비스 개발자 포털
  • 자동화된 API 도큐멘테이션 및 테스트
• OpenShift AI 통합
  • OpenShift AI에 배포된 모델에 거버넌스 적용
  • 기존 서비스와 함께 AI/ML API 사용 추적

인증

인증 구성 요소는 LLM 서비스를 위한 통합 Identity 관리를 제공합니다. 이 솔루션 스택은 Red Hat SSO를 기반으로 하지만 다른 모든 엔터프라이즈급 인증 솔루션을 대신 사용할 수 있습니다. 인증의 장점은 다음과 같습니다.

•  제로 트러스트 보안
  • 모든 LLM 툴을 위한 중앙화된 인증(OIDC/SAML)
  • 세분화된 권한을 위한 역할 기반 액세스 제어(RBAC)
  • 민감한 AI 워크로드를 위한 다단계 인증(MFA) 지원
• 엔터프라이즈 Identity 통합
  • Active Directory, LDAP 또는 기타 IdP(Identity Provider)에 연결
  • 사용자 프로비저닝/프로비저닝 해제 자동화
• 확장 가능한 액세스 관리
  • 모든 내부 AI 포털에 대한 SSO(Single Sign-On)
  • 컴플라이언스를 위한 세션 관리
• 하이브리드 클라우드 지원
  • 어디서나(퍼블릭 클라우드/온프레미스) 실행되는 LLM에 대한 보안 액세스
  • 환경 전반의 일관된 정책

OpenShift AI 통합

• OpenShift AI 대시보드 및 모델 엔드포인트를 위한 SSO
• 플랫폼 사용자와 API 사용자 모두를 위한 통합 Identity

추론 서버

이 솔루션 스택은 vLLM을 추론 서버로 사용합니다. vLLM 프레임워크는 멀티모달 모델, 임베딩, 보상 모델링을 지원하며, 인간 피드백 기반 강화 학습(Reinforcement Learning with Human Feedback, RLHF) 워크플로우에서 점점 더 많이 사용되고 있습니다. vLLM은 고급 스케줄링, 청크 프리필, 다중 LoRA 배치, 정형 출력과 같은 기능을 통해 추론 가속화와 엔터프라이즈급 배포에 모두 최적화되어 있습니다.

또한 vLLM은 LLM 압축 툴을 제공하므로 고객이 자체적으로 튜닝된 모델을 최적화할 수 있습니다.

AI 플랫폼

이 솔루션 스택은 OpenShift AI를 사용하여 모델을 서빙하고 혁신적인 애플리케이션을 제공합니다. OpenShift AI는 데이터 수집 및 준비, 모델 학습 및 미세 조정, 모델 서빙 및 모델 모니터링, 하드웨어 가속 등 AI의 모든 측면에서 기업을 지원합니다.

OpenShift AI의 최신 릴리스는 사전 최적화된 소규모 모델에 대한 액세스를 제공하여 효율성을 높일 수 있도록 설계되었습니다. 또한 vLLM 프레임워크를 통한 분산 서빙으로 추론 비용을 관리하는 데 도움이 됩니다. 

OpenShift AI는 자체 관리형 소프트웨어 또는 OpenShift를 기반으로 하는 전체 관리형 클라우드 서비스로 제공되며, 온프레미스, 퍼블릭 클라우드, 엣지 등 모델을 개발하고 배포할 위치를 선택할 수 있는 안전하고 유연한 플랫폼을 제공합니다.

결론

기업이 다양한 AI 솔루션을 구축하고 확장함에 따라 타사 호스팅 모델을 사용하는 것은 매우 많은 비용이 들고 엔터프라이즈 데이터가 타사에 노출되면서 종종 용납할 수 없는 수준의 데이터 프라이버시 리스크를 내포합니다. 셀프 호스팅 AI 모델은 데이터 프라이버시를 해결하는 데 도움이 될 수 있지만 다양한 비즈니스 그룹 전반에서 중복 작업이 발생하여 비용이 증가하고 시장 출시 시간이 느려질 수 있습니다.

Models-as-a-Service(MaaS)는 기업이 전사적 공유 리소스로 사용할 수 있는 오픈소스 모델을 제공할 수 있도록 지원하는 새로운 접근 방식입니다. 개발자는 이러한 모델에 편리하게 액세스할 수 있으므로 이제 기반 인프라에 대해 걱정할 필요 없이 AI 애플리케이션 빌드에 집중할 수 있습니다. 엔터프라이즈 IT는 다양한 비즈니스 그룹의 모델 사용을 모니터링하고 각 팀 또는 프로젝트에 AI 서비스 사용 요금을 청구할 수 있습니다.

MaaS 접근 방식을 통해 기업은 일회성 AI 기회에서 벗어나 조직 전체의 AI 역량을 혁신할 수 있습니다. 

자세히 알아보기

• MaaS 솔루션 아키텍처에서 자세한 내용을 확인하거나 솔루션에 대한 간단한 시각 안내를 확인하세요.
• Models-as-a-Service(MaaS) 리포지토리를 방문하여 자체 MaaS 솔루션을 설정하세요.
• 추가 서비스는 Red Hat Consulting에 문의하세요.
• 양자화의 장점에 대해 알아보세요.
• InstructLab 실제 사례를 확인하세요.

¹IDC Directions, 에이전틱 여정 완료(Completing the Agentic Journey), 2025년 4월