LLM의 잠재력을 최대한 활용: vLLM으로 성능 최적화

대규모 언어 모델(Large Language Model, LLM)은 고객 서비스에서 최첨단 애플리케이션에 이르기까지 다양한 산업에 획기적인 변화를 가져와서 방대한 혁신의 기회를 열어가고 있습니다. 그러나 그러한 잠재력 뒤에는 높은 컴퓨팅 비용과 복잡성이라는 함정이 있습니다. LLM을 배포하려면 대부분 고가의 하드웨어와 복잡한 관리가 필요하기 때문에 많은 조직이 효율적이고 확장 가능한 솔루션을 사용하기 어렵습니다. 하지만 큰 비용을 들이지 않고도 LLM을 활용할 수 있다면 어떨까요? vLLM을 통한 모델 압축과 효율적인 추론은 획기적인 해답을 제시하여 모든 규모의 기업이 비용을 절감하고 배포 속도를 높일 수 있도록 돕습니다.

속도와 효율의 중요성

규모에 맞게 LLM을 실행하는 것은 쉬운 일이 아닙니다. 이러한 모델은 강력하면서도 비용이 많이 드는 하드웨어를 필요로 하기 때문에 인프라 비용과 운영상의 문제를 야기합니다. 챗봇, 다중 모델 워크플로우와 같은 실시간 애플리케이션의 등장은 속도와 경제성을 모두 요구하여 조직의 부담을 더욱 가중시키고 있습니다. 최적화를 통해 비용을 절감하는 데 그치지 않고 엔지니어링 시간을 확보하고 개발 주기를 가속화하며 팀이 하드웨어 문제를 해결하는 데 매달리는 대신 전략적 우선순위에 집중하도록 할 수 있습니다.

LLM 압축: 효율적인 추론의 핵심

모델 압축은 추론 성능을 저하하지 않으면서 LLM의 리소스 수요를 줄여 이러한 문제를 정면으로 해결합니다. 두 가지 주목할 만한 기술이 이를 주도합니다.

• 양자화(Quantization): 높은 정밀도의 가중치를 낮은 비트 형식(예: FP8, INT8, INT4 등)으로 변환하여 메모리와 연산 요구량을 크게 줄이는 기술입니다. Neural Magic이 양자화된 대규모 언어 모델(LLM)을 대상으로 50만 건 이상의 평가를 수행한 결과, 평균적으로 추론 속도가 2~4배 향상되었으며, 정확도 저하는 0.5~1%에 불과해 99% 이상의 성능 회복이 가능하다는 사실이 확인되었습니다.
• 희소성(Sparsity): 중복 매개 변수를 제거하여 모델을 더 간소화되고 빠르게 만듭니다. 연결 수가 적을수록 스토리지와 처리량이 줄어들어 배포가 간소화되고 비용이 절감됩니다.

이러한 비전을 실현하기 위해 Red Hat은 최근 LLM 압축 분야의 선도업체인 Neural Magic을 인수하여 모든 하드웨어에서 빠르고 효율적인 추론을 수행하기 위한 노력을 강화했습니다. 지난 1년 동안 Neural Magic은 최첨단 양자화를 사용하여 Granite, Llama, Mistral, Qwen과 같이 널리 사용되는 모델을 최적화했습니다. 이러한 오픈소스 추론 지원 모델은 Hugging Face 에서 사용할 수 있습니다.

LLM 압축기를 통한 멀티모달 모델 양자화 지원

오픈소스 LLM 압축기 라이브러리는 핸즈온 최적화를 위해 다음을 제공합니다.

• 가중치 및 활성화를 위한 다양한 양자화 알고리즘 세트
• Hugging Face 모델 및 리포지토리와 통합
• vLLM과 호환되며 텐서를 안전하게 저장하기 위한 간단한 형식인 safetensors 지원
• Accelerate를 통한 대규모 모델 처리
• GPTQ, SmoothQuant, SparseGPT와 같은 검증된 알고리즘 지원

vLLM: 다양한 하드웨어 전반에서 추론 간소화

경쟁력의 절반은 압축력에 달려 있으며, 나머지 절반은 고성능 추론 엔진에 달려 있습니다. 처음부터 더 빠르고 유연한 LLM 서빙을 목표로 구축된 오픈소스 라이브러리인 vLLM을 살펴보세요. UC Berkeley에서 탄생했으며 약 40,000개의 GitHub 별점을 보유한 vLLM은 학계와 업계에서 모두 선호되고 있습니다. 중요한 것은 단순히 속도가 아니라, LLM 배포를 실용적이고 확장 가능하며 접근하기 쉽게 만드는 것입니다. vLLM의 특별한 장점은 다음과 같습니다.

• 고성능: PagedAttention(키-값 캐시를 동적으로 관리하여 대규모 모델의 메모리를 최적화)과 같은 기술을 사용하는 vLLM은 Hugging Face 트랜스포머와 같은 기존 프레임워크보다 대기 시간 오버헤드가 거의 0에 가까운 더 높은 처리량을 제공합니다. 따라서 챗봇에서 실시간 분석까지, 모든 애플리케이션이 신속하게 대응하고 더 쉽게 확장할 수 있습니다. 최신 vLLM 벤치마크는 이 블로그와 이 블로그에서 확인하세요.
• 광범위한 하드웨어 호환성: NVIDIA 및 AMD GPU에서 Google TPU, Intel Gaudi, AWS 뉴런 또는 CPU에 이르기까지 vLLM은 고유한 설정에 맞게 조정됩니다. 다양한 가속기에 최적화되어 있으므로 기존 인프라를 활용하거나 툴링을 재구성하지 않고도 비용 효율적인 옵션을 선택할 수 있습니다. 여기에서 양자화 방법 전반에서 지원되는 하드웨어를 확인하세요.
• 동적 배치 및 확장성: vLLM의 고급 요청 처리 기능은 수신되는 쿼리를 동적으로 배치하여 수동 튜닝 없이 리소스 사용을 극대화합니다. 이는 고객 지원 봇 또는 다중 사용자 AI 플랫폼과 같이 수요가 예측할 수 없이 변동하는, 트래픽이 높은 시나리오에 중요합니다.
• 손쉬운 배포: vLLM은 OpenAI의 API 형식과 호환되는 기본 제공되는 서빙 엔드포인트를 통해 LLM 관리를 간소화합니다. vllm serve [해당 모델]라는 단순한 커맨드를 사용해 모델을 쉽게 배포할 수 있으므로 운영 오버헤드를 크게 줄이고 팀이 인프라가 아닌 혁신에 집중하도록 할 수 있습니다. 이는 프로덕션 레디 솔루션으로 가는 지름길입니다.
• 전문가를 위한 사용자 정의 가능성: vLLM은 사용 편의성 외에도 고급 사용자를 위한 후크(예: 사용자 정의 토크나이저, 모델 샤딩, 파인 튜닝된 최적화 플래그 등)를 제공하여 엔지니어가 LLM 애플리케이션의 한계를 뛰어넘을 수 있는 유연한 툴입니다.
• 오픈소스 및 커뮤니티 중심: Linux Foundation과 활발한 커뮤니티가 탄탄하게 뒷받침하는 vLLM은 투명성, 신속한 기능 업데이트, 풍부한 지원을 제공합니다. 업계 리더와 연구원들의 기여는 vLLM을 최첨단으로 유지하도록 돕는 동시에 광범위한 도큐멘테이션을 통해 학습 곡선을 단축합니다.

압축된 모델과 결합된 vLLM은 더 빠르고 경제적이며 관리하기 쉬운 엔드 투 엔드 파이프라인을 구축합니다. 단일 챗봇을 제공하든, 확산되는 AI 에코시스템을 지원하든 vLLM은 조직의 목표에 맞게 확장되어 복잡성 없이 성능을 제공합니다.

결론: vLLM을 통한 최적화 적용

LLM으로 경쟁력을 강화할 수 있으며, 비용을 줄이고 복잡성을 완화할 수 있다면 더욱 그렇습니다. 최적화와 vLLM은 이를 가능하게 하여 잠재력을 수익으로 전환하고 운영 효율성을 높입니다. 운영 비용을 절감(GPU 비용 절감 40~50% 고려)하고, 간소화된 배포로 시장 출시 시간을 단축하고, 실시간 응답 능력을 바탕으로 고객 만족도를 높일 수 있습니다. 스타트업을 확장하든 기업을 운영하든 이 조합으로 AI를 더 스마트하고 경제적으로 배포할 수 있습니다!

그 증거는 결과에서 확인됩니다. 한 인기 게임 회사는 Neural Magic의 INT8 양자화된 Llama 70B를 vLLM과 함께 사용하여 토큰당 50ms의 속도로 초당 10개의 쿼리를 실행하여 매일 수십만 개의 코드를 생성했습니다. 또한 GPU 사용량을 절반으로 줄여 성능 저하 없이 인프라 비용을 50% 절감했습니다. 

지금 시작하기

최적화된 LLM과 vLLM의 장점을 누릴 준비가 되셨나요? 그 방법은 다음과 같습니다.

1. 최적화된 모델 살펴보기: 즉시 배포할 수 있는 Hugging Face 기반의 사전 최적화된 LLM을 여기에서 자세히 살펴보세요.
2. 자체 모델 최적화: LLM 압축기를 사용하여 압축 기술을 실험하고 요구 사항에 맞게 모델을 조정할 수 있습니다.
3. vLLM 사용해 보기: 샘플 추론을 실행하여 실제로도 빠르고 간편한지 확인해보세요.

프로덕션 레디 솔루션을 위해 Red Hat 전문가가 도와드립니다. Red Hat에 문의하여 Red Hat이 비즈니스가 LLM을 효율적이고 효과적으로 활용할 수 있도록 어떤 지원을 제공하는지 알아보세요.