AI 인프라를 생각할 때 대부분의 관심은 자연스럽게 모델 학습에 쏠립니다. 대규모 모델을 학습시키려면 방대한 데이터세트, 분산 컴퓨트, 특수 하드웨어 가속기가 필요합니다. 그래픽 처리 장치(GPU) 또는 텐서 처리 장치(TPU) 클러스터 전반에서 학습 작업을 오케스트레이션하려면 상당한 엔지니어링이 필요하며, 이는 AI 라이프사이클에서 가장 눈에 띄는 부분인 경우가 많습니다.

반면 추론은 겉보기에는 단순해 보일 수 있습니다. 모델 학습이 끝나면 모델을 로드하고 요청을 보내 결과를 반환하기만 하면 되므로 예측을 제공하는 과정도 간단할 것으로 생각하기 쉽습니다. 하지만 프로덕션 추론 시스템은 실질적으로 대규모 환경에서 안정적으로 운영하기가 매우 복잡한 분산 시스템 중 하나입니다.

일반적으로 배치 중심으로 제어된 환경에서 실행되는 학습 워크로드와 달리 추론 시스템은 실제 운영 환경의 조건을 감당해야 합니다. 예측할 수 없는 시점에 요청이 들어오고, 대기 시간 요구 사항이 엄격할 뿐만 아니라 일관된 성능을 유지하면서 인프라를 동적으로 확장해야 합니다. 동시에 비싼 GPU 리소스를 효율적으로 관리하고, 대규모 모델의 메모리 풋프린트를 처리해야 하며, 경우에 따라 수천 건의 동시 요청까지 지원해야 합니다.

엔터프라이즈 환경에서는 추론 워크로드가 점점 더 쿠버네티스 기반 AI 플랫폼에서 실행되고 있습니다. 조직은 Red Hat OpenShift AI와 같은 플랫폼에 모델을 배포하며 이러한 환경에서는 추론 시스템과 기존 애플리케이션 워크로드를 함께 운영해야 합니다. 쿠버네티스는 오케스트레이션과 스케일링을 위한 강력한 기본 기능을 제공하지만, AI 추론에는 플랫폼 엔지니어가 해결해야 할 새로운 운영 과제가 따릅니다.

이러한 과제는 주로 요청 스케줄링 및 배치, GPU와 가속기 활용, 모델 라이프사이클 관리, 메모리 효율성과 리소스 격리, 예측하기 어려운 부하 상황에서 낮은 대기 시간을 유지하는 문제와 관련이 있습니다.

OpenShift AI와 같은 플랫폼은 모델 배포, 모델 서빙, 관측성을 위한 통합 기능을 제공하여 이러한 워크로드를 체계적으로 관리할 수 있도록 지원합니다. 하지만 이러한 플랫폼을 사용하더라도 시스템 내부의 동작은 여전히 복잡하므로 세심한 엔지니어링이 필요합니다.

학습과 추론의 근본적인 차이

학습과 추론은 동일한 모델을 사용할 수 있지만 인프라에 요구하는 조건은 크게 다릅니다.

학습 시스템은 일반적으로 장시간 실행되는 작업에서 처리량과 효율성을 높이는 데 최적화됩니다. 워크로드를 예측할 수 있고 리소스 할당이 비교적 안정적인 제어된 환경에서 운영되는 경우가 많습니다. 학습 워크로드는 대체로 장시간 배치 방식으로 실행되며 예측 가능하고 처리량에 최적화되어 있습니다.

추론 시스템은 전혀 다른 제약 조건에서 작동합니다. 요청 트래픽이 지속적으로 변동하는 매우 동적인 워크로드를 지원하면서도 엄격한 대기 시간 기준 내에 응답을 제공해야 합니다.

주요 운영 요구 사항으로는 예측하기 어려운 요청 트래픽 패턴, 실시간 응답 요구, 높은 동시성, 인프라의 동적 스케일링, 하드웨어 가속기의 효율적인 활용 등이 있습니다.

이에 따라 대기 시간과 처리량 사이에 본질적인 상충 관계가 생깁니다. 엔지니어는 GPU 리소스의 효율성을 극대화하는 동시에 예측 결과를 신속하게 반환해야 합니다. 이러한 균형을 맞추려면 정교한 스케줄링과 지능형 배치, 세심한 시스템 리소스 관리가 필요합니다.

트래픽이 증가할수록 이러한 균형을 유지하는 작업도 훨씬 더 복잡해집니다.

단일 예측 뒤에 숨겨진 시스템

사용자 관점에서 AI 추론 요청은 단순해 보입니다.

사용자 요청 → 모델 → 예측

하지만 실제로 예측을 제공하는 인프라는 여러 계층의 분산 시스템으로 구성되는 경우가 많습니다.

클라이언트 요청
     ↓
API 게이트웨이
     ↓
요청 대기열
     ↓
배치 스케줄러
     ↓
모델 서버
     ↓
GPU 실행
     ↓
포스트 프로세싱
     ↓
응답

이 파이프라인의 각 단계에는 잠재적인 성능 장애물과 운영상 고려 사항이 존재합니다.

애플리케이션 프로그래밍 인터페이스(API) 게이트웨이는 인증, 속도 제한, 요청 라우팅을 처리해야 합니다. 요청 대기열은 들어오는 트래픽을 버퍼링하여 갑작스러운 수요 증가를 완화합니다. 배치 스케줄러는 GPU를 효율적으로 실행할 수 있도록 요청을 그룹화하는 방식을 결정합니다. 모델 서버는 모델 로드와 실행을 관리하고 GPU 계층은 실제 연산을 수행합니다.

추론 워크로드가 분당 수천 건 또는 수백만 건의 요청을 처리하는 규모로 확장되면 이러한 계층 간 조율이 매우 중요해집니다. 어느 한 구성 요소에서 발생한 작은 비효율도 시스템 전체로 확산되어 전반적인 대기 시간과 처리량에 큰 영향을 미칠 수 있습니다.

서비스형 모델(MaaS): 복잡성 추상화

여러 제품과 서비스에서 AI를 도입하는 조직이 늘어나면서 개별 모델 배포를 관리하는 작업이 빠르게 운영상의 부담이 될 수 있습니다. 이에 따라 많은 조직이 모델을 독립 실행형 서비스로 배포하는 대신 서비스형 모델 아키텍처를 도입하고 있습니다.

서비스형 모델 아키텍처에서는 표준화된 API를 통해 AI 모델을 제공하며 배포, 스케일링, 리소스 할당과 관련된 운영상의 복잡성은 플랫폼이 담당합니다.

OpenShift AI와 같은 플랫폼은 쿠버네티스에서 모델을 확장 가능한 서비스로 배포할 수 있는 기본 기능을 제공합니다. 이러한 플랫폼은 모델 서빙 프레임워크와 통합되며 팀이 인프라 관리보다 모델의 동작에 집중할 수 있도록 추상화 기능을 제공합니다.

서비스형 모델 플랫폼은 일반적으로 모델을 컨테이너화된 서비스로 배포하고, GPU와 가속기 스케줄링을 관리하고, 추론 요청을 가능한 복제본으로 라우팅합니다. 또한 추론 엔드포인트를 자동으로 확장하고 모델 성능에 대한 관측성을 제공합니다. 이러한 업무를 중앙에서 관리하면 개별 추론 서비스 관리에 따른 운영 오버헤드를 줄일 수 있습니다. 다만 이러한 추상화가 적용되더라도 고성능 추론 시스템의 근본적인 복잡성까지 사라지는 것은 아니므로 플랫폼은 이를 계속 관리해야 합니다.

배치: 처리량과 대기 시간의 상충 관계

요청 배치는 추론 성능을 개선하는 매우 효과적인 기술 중 하나입니다.

GPU는 대량의 데이터를 병렬로 처리하도록 설계되어 있습니다. 모델에서 입력 하나만 처리하면 GPU의 컴퓨팅 기능을 충분히 활용하지 못하는 경우가 많습니다. 여러 요청을 하나로 묶어 배치로 실행하면 추론 시스템의 처리량을 크게 높일 수 있습니다.

배치를 사용하면 GPU 활용도를 높이고 요청당 컴퓨트 오버헤드를 줄여 전체 시스템 처리량을 높일 수 있습니다. 여기에는 본질적인 상충 관계가 있습니다. 배치를 구성하려면 여러 요청이 도착할 때까지 기다려야 하므로 개별 요청의 대기 시간이 늘어납니다. 배치를 모으는 데 너무 오래 기다리면 응답 시간이 지나치게 길어질 수 있습니다.

추론 시스템은 요청 도착률, 배치 크기 제한, 허용되는 대기 시간 기준, GPU 메모리 제약 조건 등을 고려해 배치 동작을 주의깊게 조정해야 합니다. 정교한 추론 엔진은 실시간 트래픽 상황에 따라 배치 매개변수를 동적으로 조정하여 처리량과 대기 시간 사이의 최적 균형을 유지합니다.

요청 대기열 및 트래픽 급증

추론 시스템의 또 다른 과제는 실제 트래픽을 예측하기 어렵다는 점입니다. 요청은 일정한 속도로 들어오는 경우가 드물며 사용자 트래픽 급증, API 기반 워크로드, 여러 추론 요청을 동시에 발생시키는 배치 작업으로 인해 한꺼번에 몰리는 경우가 많습니다. 이러한 변동성을 관리하기 위해 추론 시스템은 일반적으로 API 계층과 모델 실행 계층 사이에 요청 대기열을 둡니다.

대기열은 중요한 버퍼링 메커니즘을 제공합니다. 들어오는 트래픽을 완화하고 갑작스러운 요청 급증으로 모델 서버에 과부하가 걸리는 것을 방지하는 데 도움이 됩니다. 하지만 대기열 자체도 운영상의 과제를 수반합니다. 대기열이 지나치게 길어지면 요청의 처리 대기 시간이 늘면서 대기 시간이 빠르게 증가합니다. 반대로 대기열이 너무 짧으면 트래픽이 급증할 때 요청이 거부될 수 있습니다.

효과적인 대기열 관리를 위해서는 대기열 깊이, 요청 도착률, 처리량, 요청 시간제한 임계값 등의 지표를 모니터링해야 합니다.

메모리 압박 및 모델 풋프린트

메모리 관리 역시 추론 시스템의 주요 과제 중 하나입니다. 현대적인 AI 모델, 특히 대규모 언어 모델(LLM)에는 상당한 GPU 메모리가 필요할 수 있습니다. 모델 가중치만으로도 수 기가바이트의 메모리를 차지할 수 있으며 추론 과정의 중간 연산에도 추가 메모리가 필요합니다.

모델 가중치 외에도 추론 워크로드는 추론 중 생성되는 활성화 텐서, 시퀀스 생성을 위한 토큰 버퍼, 트랜스포머 아키텍처에서 사용하는 키-값 캐시, 모델 실행에 사용되는 중간 텐서 등 메모리를 많이 사용하는 여러 구성 요소를 관리해야 합니다. 이러한 메모리 요구 사항 때문에 단일 GPU에서 동시에 실행할 수 있는 추론 워크로드 수가 제한됩니다.

메모리 제약 조건은 최대 배치 크기, 동시 요청 수, 하나의 GPU를 공유할 수 있는 모델 수와 같은 운영상의 결정에도 영향을 미칩니다. 여러 팀이 공유 인프라에 모델을 배포하는 멀티테넌트 환경에서는 GPU 메모리 관리가 더욱 복잡해집니다.

모델 로딩 시간

엔지니어가 간과하기 쉬운 또 다른 운영 요인은 모델 초기화 시간입니다. 대규모 모델은 GPU 메모리에 로드하는 데 상당한 시간이 걸릴 수 있습니다. 모델 크기와 스토리지 대역폭에 따라 로딩에 몇 초에서 몇 분까지 걸릴 수 있습니다. 이러한 지연으로 인해 추론 시스템에 콜드 스타트라는 개념이 도입됩니다.

콜드 스타트는 모델을 처음 배포할 때, 자동 스케일링으로 새 복제본이 생성될 때, 또는 유휴 상태였던 모델 인스턴스에 트래픽이 다시 유입될 때 발생할 수 있습니다. 이러한 영향을 완화하기 위해 많은 추론 플랫폼은 모델을 메모리에 미리 로드하거나 웜 복제본을 유지하고, 자주 사용하는 모델을 캐싱하거나 모델 구성 요소를 지연 로딩하는 전략을 사용합니다.

GPU 활용도 및 리소스 효율성

GPU는 현대적인 AI 인프라에서 매우 비용이 많이 드는 구성 요소 중 하나입니다. 따라서 추론 플랫폼을 설계할 때 GPU 활용도를 높이는 것이 중요한 목표가 됩니다. 하지만 대기 시간을 낮게 유지하면서 활용도를 극대화하는 것은 간단하지 않습니다.

Red Hat AI Inference와 같은 현대적인 추론 런타임은 고급 스케줄링 및 배치 기술을 구현해 GPU 사용을 최적화하도록 설계되었습니다. 이러한 런타임은 OpenShift AI와 같은 쿠버네티스 기반 플랫폼과 통합되어 전체 시스템 효율성을 높이는 기능을 제공합니다. 여기에는 최적화된 요청 배치, 공유 GPU에서의 다중 모델 서빙, 하드웨어 인식 스케줄링, 가속기를 고려한 모델 실행 등이 포함됩니다.

이러한 최적화가 적용되더라도 GPU를 효율적으로 사용하려면 시스템 동작을 자세히 모니터링해야 합니다. 주요 운영 메트릭으로는 GPU 컴퓨트 활용도, GPU 메모리 사용량, 추론 요청 처리량, 대기열 깊이와 대기 시간 등이 있습니다. 이러한 지표를 통해 플랫폼 팀은 인프라를 확장하거나 스케줄링 전략을 조정해야 할 시점을 판단할 수 있습니다.

규모가 커질수록 추론 시스템에 문제가 발생하는 이유

추론 워크로드가 증가하면 여러 시스템 장애물이 동시에 나타나는 경향이 있습니다. 대표적인 장애 요인으로는 GPU 메모리 고갈, 요청 대기열 과부하, 비효율적인 배치 구성, 복제본 간 불균형한 트래픽 분산, 느린 모델 초기화 등이 있습니다.

이러한 문제는 서로 독립적으로 발생하는 경우가 드물며, 복잡하게 맞물리는 경우가 많습니다. 예를 들어 배치가 비효율적이면 GPU 활용도가 떨어질 수 있습니다. 활용도가 낮아지면 대기열 깊이가 증가하고, 그 결과 들어오는 요청의 대기 시간이 늘어날 수 있습니다. 이러한 상호작용을 이해하려면 인프라와 애플리케이션 계층 전반을 아우르는 포괄적인 관측성이 필요합니다.

AI 추론에서 플랫폼 엔지니어링의 역할

추론 시스템은 복잡하기 때문에 AI 모델을 대규모로 서빙하는 데 탄탄한 플랫폼 엔지니어링 관행이 점점 더 중요해지고 있습니다.

쿠버네티스 기반 환경에서 플랫폼 팀은 추론 워크로드를 관리하기 위해 OpenShift AI와 같은 통합 AI 플랫폼을 활용하는 경우가 많습니다. 이러한 플랫폼은 모델 배포를 위한 표준화된 인터페이스를 제공하는 동시에 쿠버네티스의 스케줄링, 네트워킹, 보안 제어와 통합됩니다.

주요 플랫폼 기능으로는 일반적으로 컨테이너화된 모델 배포, GPU 및 가속기 스케줄링, 추론 엔드포인트 자동 스케일링, 모델 및 인프라 메트릭을 위한 통합 관측성, 멀티테넌트 환경의 워크로드 격리 등이 있습니다.

일반적인 엔터프라이즈 추론 아키텍처는 다음과 같은 형태로 구성될 수 있습니다.

클라이언트 애플리케이션
     ↓
API 게이트웨이
     ↓
모델 엔드포인트(서비스형 모델)
     ↓
Red Hat AI Inference Server
     ↓
GPU 가속 실행
     ↓

관측성(Prometheus/OpenTelemetry)

궁극적으로 추론 플랫폼은 낮은 대기 시간, 높은 처리량, 효율적인 리소스 활용이라는 서로 상충하는 세 가지 목표 사이에서 균형을 맞춰야 합니다. 이러한 균형을 일관되게 유지하는 것은 프로덕션 AI 시스템을 구축할 때 가장 어려운 과제입니다.

AI 추론 인프라의 미래

AI 도입이 계속 확대되면서 추론 인프라는 더 지능적이고 적응성이 뛰어난 방향으로 진화할 것입니다. 향후 시스템에는 적응형 배치 알고리즘, 동적 요청 스케줄링, 자동화된 GPU 워크로드 밸런싱, 모델 인식 자동 스케일링, AI 기반 인프라 최적화가 도입될 가능성이 높습니다. 장기적인 목표는 안정적인 성능과 리소스 효율성을 유지하는 동시에 워크로드 패턴에 자동으로 적응할 수 있는 추론 플랫폼을 구축하는 것입니다.

결론

학습은 AI 라이프사이클에서 가장 눈에 띄는 부분일 수 있지만 실제 가치를 창출하는 단계는 추론입니다.

모델을 규모에 맞게 안정적으로 서빙하려면 요청 스케줄링과 GPU 활용부터 메모리 관리, 모델 라이프사이클 오케스트레이션에 이르기까지 다양한 분산 시스템 과제를 해결해야 합니다.

OpenShift AI와 같은 플랫폼, 서비스형 모델 아키텍처, Red Hat AI Inference Server와 같은 최적화된 런타임은 이러한 과제를 간소화하는 데 도움이 됩니다. 하지만 강력한 AI 인프라를 설계하려면 기본 시스템의 동작을 이해하는 것이 여전히 중요합니다.

추론은 겉보기에는 단순해 보일 수 있습니다. 하지만 대규모 환경에서 AI 모델을 서빙하는 일은 현대적인 인프라 엔지니어링에서 가장 까다로운 과제입니다.

자세히 알아보기

AI 추론을 규모에 맞게 간소화할 준비가 되었나요? Red Hat OpenShift AI는 쿠버네티스에서 AI 추론 워크로드를 배포, 관리, 확장할 수 있는 프로덕션 지원 플랫폼으로 GPU 스케줄링, 모델 서빙, 관측성을 위한 통합 기능을 제공합니다.

리소스

AI 추론 시작하기

더욱 스마트하고 효율적인 AI 추론 시스템을 구축하는 방법을 알아보세요. Red Hat AI를 통해 양자화와 희소성, 그리고 vLLM 같은 고급 기술에 대해 배울 수 있습니다.

저자 소개

Twinkll Sisodia is a Senior Software Engineer at Red Hat, where she leads initiatives focused on OpenShift AI, observability, and partner integrations. With a strong background in AI infrastructure and platform automation, she works at the intersection of engineering and collaboration, building scalable, production-ready solutions for enterprise AI workloads. Twinkll has been instrumental in driving observability for large language models using tools like OpenTelemetry and Dynatrace, and actively contributes to Red Hat's AI kickstarts and open-source projects. She collaborates closely with partners to integrate cutting-edge technologies into OpenShift AI, enhancing visibility, performance, and usability. Passionate about building impactful solutions and driving innovation, she continues to shape the future of AI platform engineering.

채널별 검색

automation icon

오토메이션

기술, 팀, 인프라를 위한 IT 자동화 최신 동향

AI icon

인공지능

고객이 어디서나 AI 워크로드를 실행할 수 있도록 지원하는 플랫폼 업데이트

open hybrid cloud icon

오픈 하이브리드 클라우드

하이브리드 클라우드로 더욱 유연한 미래를 구축하는 방법을 알아보세요

security icon

보안

환경과 기술 전반에 걸쳐 리스크를 감소하는 방법에 대한 최신 정보

edge icon

엣지 컴퓨팅

엣지에서의 운영을 단순화하는 플랫폼 업데이트

Infrastructure icon

인프라

세계적으로 인정받은 기업용 Linux 플랫폼에 대한 최신 정보

application development icon

애플리케이션

복잡한 애플리케이션에 대한 솔루션 더 보기

Virtualization icon

가상화

온프레미스와 클라우드 환경에서 워크로드를 유연하게 운영하기 위한 엔터프라이즈 가상화의 미래