-
제품 및 도큐멘테이션 -
학습 기본 사항
-
AI 파트너
AI 추론에 주목해야 하는 이유
간단히 말해, 추론 없이는 AI도 없습니다. 추론은 생성형 AI의 핵심입니다.
좋은 소식은 AI 추론이 이미 그 가능성을 입증했다는 점입니다. 이제 관건은 이를 어떻게 확장하느냐입니다.
vLLM 및 llm-d와 같은 오픈소스 툴을 활용해 AI 추론을 확장하는 방법을 살펴보겠습니다.
추론의 중요성이 큰 이유는 무엇일까요?
추론은 모델이 원하는 출력을 제공하는 최종 단계이며, AI가 성공적으로 작동하는 데 필수적인 기능입니다.
따라서 추론을 지원하는 하드웨어와 소프트웨어는 AI 전략의 성패를 좌우할 수 있습니다.
확장 옵션이 가장 다양한 아키텍처는 오픈소스 기술을 기반으로 구축됩니다.
확장을 방해하는 요소는 무엇일까요?
AI의 효과는 이미 입증되었습니다. 이제 과제는 이를 엔터프라이즈 전반으로 확장하는 것입니다.
AI를 확장하면 모델에는 더 많은 데이터와 메모리가 필요합니다. 그러면 하드웨어와 액셀러레이터는 이러한 요구를 따라가기 어려워집니다.
타사 제공업체를 이용하는 것이 가장 쉬운 해결책처럼 보일 수 있습니다. 하지만 토큰 비용은 빠르게 늘어나며 때로는 AI 애플리케이션 자체보다 더 큰 비용이 들 수 있습니다.
40%
2030년에는 추론이 AI 데이터 센터의 주요 워크로드가 되어 전체 데이터 센터 수요의 최대 40%를 차지할 것으로 예상됩니다.1
그렇다면 어떻게 하면 추론을 개선할 수 있을까요?
오픈소스 아키텍처에서 추론을 최적화하면 AI 모델을 더 빠르고 스마트하게 실행할 수 있습니다.
최적화 전략에는 다음이 포함됩니다.
- 양자화를 통한 모델 압축
- GPU 처리 효율 향상
- 추측 디코딩
- 분산 추론
- 메모리 및 오케스트레이션 태스크를 CPU에서 처리
이와 같은 최적화는 AI 추론을 경제적으로 유지하는 데 도움이 되며 팀의 성장 규모와 함께 확장될 수 있습니다.
19%
추측 디코딩 기술을 사용할 경우 대규모 환경에서 절감할 수 있는 비용.2
2배
압축된 모델을 사용해 정확도를 유지하면서 증가된 컴퓨팅 처리량.3
90%
전체 엔드 투 엔드 대기 시간 중 CPU가 차지하는 비율.4
vLLM은 추론을 어떻게 최적화하나요?
모델 최적화로는 아직 부족합니다. 고성능 추론 엔진도 필요합니다. 바로 그 지점에서 vLLM이 도움이 될 수 있습니다.
기존의 LLM 메모리 관리 시스템은 메모리를 효율적으로 구성하지 못해 LLM의 속도를 늦춥니다. 반면 vLLM은 PagedAttention이라는 메모리 관리 기술을 사용하여 반복되는 키 값을 식별해 LLM의 추가 작업을 줄여줍니다.
이를 통해 vLLM은 GPU 메모리를 더 잘 활용하고 생성형 AI 추론 속도를 높일 수 있습니다. vLLM은 동시에 다수의 사용자에게 서비스를 제공하기 위해 처리량(초당 처리되는 토큰 수)을 극대화합니다.
가속기를 더 효율적으로 사용한다는 것은 모델이 더 짧은 시간 안에 더 많은 연산을 수행할 수 있음을 의미합니다. 따라서 팀은 더 많은 사용자와 에이전트에게 더 빠르게 서비스를 제공할 수 있습니다.
75%
메모리 요구량 감소로 필요한 GPU 수 절감.5
4배
대부분의 추론 제공업체 대비 초당 처리 토큰 수.6
24배
경쟁사 대비 vLLM을 통한 처리량 성능 증가율.7
vLLM은 왜 인기가 높은 것일까요?
vLLM은 효율적인 GPU 활용과 관련된 핵심 문제를 해결함으로써 토큰당 비용을 절감하고 대기 시간을 대규모로 안정화시켰으며 이를 이식 가능한 개방형 배포 방식으로 가능하게 했습니다.
모든 주요 모델과 가속기에 대한 Day 0 지원을 제공하는 등 vLLM의 접근성은 업계와 학계 모두에게 매력적으로 다가옵니다. 이것이 바로 vLLM 커뮤니티가 활발하고 생동감 있게 운영되는 이유입니다.
Hugging Face, 캘리포니아 버클리 대학교, NVIDIA, Red Hat, 그 외 많은 단체들이 vLLM 커뮤니티에 기여하고 있습니다. 이 커뮤니티는 오픈소스 프로젝트에서 소프트웨어에 끊임없이 도전하고 이를 개선해 나갑니다.
10,000개 이상
2026년 vLLM GitHub 커밋 수*(200% 이상 증가)
vLLM 커뮤니티 현황
50만 개 이상
1년 365일 가동되는 GPU 수8
200개 이상
가속기 유형 수9
500개 이상
지원되는 모델 아키텍처 수9
3,100개 이상
분산 추론은 어디에 적합할까요?
분산 추론은 AI 모델이 추론 작업을 상호 연결된 여러 기기에 분배하도록 하는 것을 말합니다.
모델이 서로 다른 요청을 동시에 처리할 수 있게 되면 필요한 하드웨어가 크게 줄어들고 추론 효율성이 높아집니다.
분산 추론은 텐서 병렬 처리, 지능형 추론 스케줄링, 분리와 같은 기술을 사용합니다. 추론이 vLLM과 결합하면 매우 효율적인 멀티태스킹 머신이 됩니다.
이는 추론의 관측성, 확장성, 일관성을 보장합니다.
99%
동일한 부하에서 첫 토큰 생성 시간(TTFT) 단축.10
해당 오픈소스 커뮤니티가 있나요?
네, llm-d라고 합니다.
llm-d는 개발자들에게 분산 추론 환경을 대규모로 구축하기 위한 청사진을 제공하는 오픈소스 프레임워크입니다.
llm-d의 모듈식 아키텍처는 정교한 LLM의 복잡한 리소스 요구 사항을 지원하고 파편화된 수동 프로세스를 명확한 통합 경로로 대체하여 파일럿 단계에서 프로덕션 단계에 이르기까지의 시간을 단축해 줍니다.
llm-d는 추론 기능을 쿠버네티스로 가져와 기업 고유의 활용 사례에 분산 추론을 적용할 수 있도록 돕는 표준화된 툴킷을 제공합니다.
2배
llm-d로 최적화된 클러스터를 사용해 동일한 하드웨어에서 지원 가능한 사용자 수.11
더 많은 AI 리소스
Red Hat AI Inference
코딩 단계에서 프로덕션 단계까지 LLM을 더 신속하게 이동하세요.
vLLM을 기반으로 한 Red Hat의 엔터프라이즈급 추론 엔진은 성능을 저해하지 않고 추론을 가속화합니다.
기업에서 선호하는 최적화된 생성형 AI 모델을 활용하여 어떠한 AI 가속기와 클라우드 환경에서도 하이브리드 클라우드 전반에 걸쳐 확장하세요.
인용된 출처
[1] "AI 워크로드의 미래." McKinsey & Company, 2026년 2월 24일.
[2] Umesh, Harshith. "gpt-oss용 vLLM의 추측 디코딩을 통한 성능 개선." Red Hat Developer 블로그, 2026년 4월 16일.
[3] Kurtić, Eldar 외. "2:4 희소성이 적용된 Llama: 효율적 GPU 추론을 위한 소규모 모델." Red Hat Developer 블로그, 2025년 2월 28일.
[4] Bowerman, Sawyer. Ableidinger, Grace. "CPU의 귀환: LLM 추론을 위한 CPU-GPU 역할 재고." Red Hat 블로그, 2026년 8월 6일.
[5] "LLM Compressor란?" vLLM 문서.
[6] "vLLM, Artificial Analysis 리더보드 1위 달성." vLLM 블로그, 2026년 5월 11일.
[7] 권우석 외. "vLLM: PagedAttention을 통한 쉽고 빠르며 경제적인 LLM 서빙." vLLM 블로그, 2023년 6월 20일.
[8] Goin, Michael. "[vLLM 오피스 아워 #38] vLLM 2025년 회고 및 2026년 로드맵 - 2025년 12월 18일." YouTube, 2025년 12월 8일.
[9] 권우석. "오늘날, vLLM은 500개 이상의 모델 아키텍처를 지원하고 200개 이상의 가속기 유형에서 구동되며 글로벌 규모로 추론을 지원합니다." X, 2026년 1월 26일.
[10] Singh, Naina. "동일한 16개 GPU로 두 배의 사용자 지원: LLM 클러스터를 위한 추론 인식 라우팅" Red Hat 블로그, 2026년 5월 27일.
[11] Singh, Naina. "동일한 16개 GPU로 두 배의 사용자 지원: LLM 클러스터를 위한 추론 인식 라우팅" Red Hat 블로그, 2026년 5월 27일.
