Red Hat AI를 통한 빠르고 효율적인 추론

vLLM은 하드웨어 가속기 전반에서 처리량을 극대화하고 응답 시간을 단축하도록 설계된 추론 엔진입니다. PagedAttention 알고리즘을 사용하여 GPU 사용률을 최적화하고 생성형 AI 애플리케이션의 출력 속도를 높입니다. 

vLLM을 사용하면 프로덕션 환경에서 제어 가능하고 예측 가능한 추론 동작을 유지하면서 모든 생성형 AI 모델을 원하는 AI 가속기에 맞게 최적화하여 배포할 수 있습니다.

llm-d는 규모에 맞는 분산형 LLM 추론을 가속화하는 쿠버네티스 네이티브 오픈소스 프레임워크입니다. 

이는 AI 모델이 데이터가 많은 복잡한 쿼리를 수신할 경우 llm-d가 처리 속도를 높이는 프레임워크를 제공한다는 것을 의미합니다. 접근성이 뛰어난 모듈식 아키텍처를 갖춘 llm-d는 대규모 분산 LLM 추론에 가장 적합한 플랫폼입니다. 분산 워크로드 전반에서 일관성, 제어, 거버넌스를 유지하면서 확장 가능한 추론을 지원할 수 있습니다.

프로덕션 환경의 모델 메트릭과 인사이트를 활용하여 모델의 어느 부분을 어떻게 개선할 수 있는지 파악하세요. TTFT(Time To First Token), KV 캐시 적중률, GPU 활용률과 같은 모델별 성능 메트릭을 확인합니다. 이러한 메트릭을 사용하여 성능을 모니터링하고 이상 징후를 감지하며, 추론이 운영, 보안, 정책 요구 사항을 충족하도록 지원할 수 있습니다. 

다양한 모델 툴킷으로 기반 모델 또는 사용자 정의 모델을 최적화하세요. 양자화나 희소화와 같은 기술을 사용하여 하드웨어 요구 사항을 줄이고 추론 비용을 낮출 수 있습니다. 

LLM Compressor와 같은 툴이 툴킷에 포함되어 있습니다. 이 툴에 최신 모델 압축 연구를 적용하면 LLM의 규모와 속도, 그리고 에너지 효율성을 개선할 수 있습니다. 그 결과 정확성을 잃지 않으면서 하드웨어 요구 사항을 줄이고 효율성을 향상할 수 있습니다.

LLM Compressor는 핵심 기능을 넘어 다른 툴 및 플랫폼과 폭넓게 통합됩니다. Hugging Face Transformers 에코시스템 내 추론을 지원하여 배포 전 정확도 검증이 가능합니다. 또한 미세 조정 프레임워크와 연동되어 사용자가 지도 학습 중에도 희소화를 유지할 수 있습니다.

LLM Compressor는 배포 전에 모델 동작에 대한 검증, 재현성, 제어를 유지하면서 위의 모든 기능을 실현할 수 있도록 지원합니다.

LLM Compressor에 대해 자세히 알아보기

Red Hat AI에는 관리형 API 게이트웨이 통합이 포함되어 있어 AI 플랫폼 엔지니어가 내부 Model-as-a-Service(MaaS) 기능을 설정할 수 있습니다. 이 기능은 하이브리드 클라우드 환경 전반에서 모델을 배포하고 운영할 수 있는 개방형, 모듈식, 벤더 중립적 방식을 제공합니다.

중앙화된 MaaS 아키텍처를 통해 모델 액세스에 거버넌스를 적용하면 특정 모델에 액세스할 수 있는 사용자를 제어하고, 정책을 실행하고, 사용자, 애플리케이션, 에이전트 전반의 사용량을 모니터링할 수 있습니다. 이를 통해 규모에 맞게 모델을 안정적으로 사용하고, 사용 내역을 감사 가능하게 관리하고, 정책에 따라 제어할 수 있습니다.

AI 모델과 GPU 리소스를 더 쉽게 사용할 수 있게 되면 개발자는 API 엔드포인트 액세스를 간소화할 수 있고, 플랫폼 엔지니어는 고성능 자체 호스팅 모델에 대한 액세스 사용을 제어, 관리, 모니터링할 수 있습니다.

추론 스택은 모델과 에이전트의 예측하기 어려운 수요와 규모에 대응합니다. 여기에 모델 액세스를 관리하는 개방형 전략을 결합하면 에이전틱 AI, 미세 조정, 규모에 맞는 AI를 위한 강력한 기반을 마련할 수 있습니다.

원하는 생성형 AI 모델을 사용하거나, Red Hat AI 플랫폼 전반에서 효율적으로 실행된다고 검증된 최적화된 오픈소스 제3사 모델 컬렉션 중에서 선택하세요.

Red Hat AI 모델 검증은 GuideLLM, Language Model Evaluation Harness, vLLM과 같은 오픈소스 툴링을 사용해 수행됩니다. 이를 통해 고객은 재현성을 확보할 수 있으며, 모델을 검증되고 신뢰할 수 있는 상태로 환경 전반에 일관되게 배포할 수 있습니다.