vLLM과 Ollama 비교: 각 프레임워크를 사용해야 하는 경우

대규모 언어 모델(Large Language Model, LLM)을 AI 애플리케이션에 통합하는 경우 vLLM은 고성능 프로덕션에, Ollama는 로컬 개발에 적합합니다. 각 툴은 LLM 배포 스펙트럼에서 서로 다른 요구 사항을 충족시킵니다. vLLM은 기업 환경에서 사용하기에 적합한 반면 Ollama는 소규모 프로젝트에 강점이 있습니다. 

vLLM과 Ollama의 차이점을 비교하자면 Ollama는 스포츠카에, vLLM은 초고속열차에 비유할 수 있습니다. Ollama는 빠르게 달리지만 많은 사람을 태울 수는 없습니다. vLLM은 빠르게 달리면서 한 번에 많은 사람을 실어 나를 수 있습니다. 

궁극적으로 둘 중에 무엇을 선택할지는 개발자로서의 전문 지식과 프로젝트의 규모 및 범위에 달려 있습니다. 로컬에서 테스트하는 개발자에게는 Ollama가 이상적인 시작점입니다. 그러나 대규모 프로덕션 환경으로 전환하려는 팀의 경우 vLLM을 통해 LLM을 대규모로 안정적이고 효율적으로 서비스하는 데 필요한 기반을 마련할 수 있습니다.

Ollama 대 vLLM 적절한 서빙 툴을 선택하는 방법

vLLM은 오픈소스 코드 라이브러리로서 LLM이 계산을 효율적이고 신속하게 대규모로 수행할 수 있도록 돕습니다. vLLM의 전반적인 목표는 동시에 다수의 사용자에게 서비스를 제공하기 위해 처리량(초당 처리되는 토큰 수)을 극대화하는 것입니다. 

vLLM에는 네트워크 트래픽을 관리하는 추론 서버와 계산 속도를 극대화하는 추론 엔진이 모두 포함되어 있습니다. 

• 추론 서버 구성 요소는 서비스에 대한 사용자 대기열을 관리하며 외부 네트워크 트래픽을 처리합니다. 추론 서버는 집약적인 계산을 수행하는 것이 아니라 시스템의 데이터 송수신을 담당하는 통신 프로토콜을 처리합니다.
• 추론 엔진 구성 요소는 그래픽 처리 장치(GPU) 사용을 최적화하여 생성 속도를 높입니다. 이는 PagedAttention과 같은 알고리즘을 적용하여 키 값(KV) 캐시를 관리하고 연속 배치를 통해 요청 스케줄링을 최적화하여 컴퓨팅 속도를 향상합니다.

추론 서버와 추론 엔진 모두 사용자가 '전송'을 누른 시점과 출력이 전달되는 시점 사이의 시간인 '대기 시간'을 줄이는 일을 담당합니다. 추론 서버는 불필요한 대기 시간을 늘리지 않도록 설계되었습니다. 이는 요청을 수락한 다음 엔진에 전달하고 네트워크를 통해 최대한 빨리 응답을 반환함으로써 가능합니다. 추론 엔진은 GPU의 컴퓨팅을 체계화하여 대기 시간을 적극적으로 없애는 일을 담당합니다. vLLM은 이러한 방식으로 처리 속도를 향상하여 단일 인스턴스에서 수백 명의 사용자를 동시에 지원할 수 있습니다. 

시장에서는 LLM 기반 애플리케이션용 하드웨어에 매우 높은 가격이 책정됩니다. 이런 상황에서 조직은 vLLM을 사용하여 '더 적은 비용으로 더 많은 효과'를 누릴 수 있습니다. vLLM은 높은 트래픽을 처리할 수 있으며 대규모 시나리오에 적합하도록 설계되었습니다. 따라서 대기 시간에 민감하며 여러 사용자를 대상으로 한 배포에 이상적입니다. 한 마디로 복수의 요청을 동시에 처리해야 하는 경우 vLLM이 Ollama보다 뛰어난 성능을 발휘합니다. 

vLLM에 대해 자세히 알아보기

Ollama는 사용자가 LLM을 로컬에서 개인적으로 실행할 수 있게 해 주는 오픈소스 툴입니다. 즉 클라우드로 개인 정보를 보낼 필요 없이 노트북에서 LLM을 다운로드하고 업데이트 및 관리할 수 있습니다. 

Ollama는 다양한 LLM에서 추론을 수행하는 오픈소스 라이브러리인 llama.cpp 프로젝트에서 파생되었습니다. Ollama는 기반 구성 요소의 컴파일, 구성 및 관리에 속하는 까다로운 단계 중 일부를 자동화하여 이러한 복잡성이 최종 사용자에게 드러나지 않도록 합니다. 

단순성에 초점을 맞춰 설계된 Ollama는 최소한의 설정만 요구하므로 직관적이며 초보자가 사용하기에 적합합니다. 숙련된 개발자는 Ollama를 사용하여 다양한 LLM을 테스트하고 빠른 프로토타이핑을 수행할 수 있습니다.

vLLM과 Ollama 둘 다 LLM을 서빙하는 프레임워크로서 개발자가 AI 애플리케이션을 구축하는 데 사용할 수 있는 LLM에 접근할 수 있도록 합니다. 구체적으로, LLM 서빙 프레임워크는 대규모 애플리케이션 아키텍처 내에서 추론을 수행하는 소프트웨어 구성 요소입니다. 

vLLM과 Ollama는 서로 다른 사용자 유형을 대상으로 하지만 몇 가지 공통적인 기본 기능을 제공합니다.

• 둘 다 오픈소스 툴입니다.
• 둘 다 추론 서버 구성 요소를 포함합니다.
• 둘 다 사용자가 제3자 API를 사용하는 대신 소유한 하드웨어에서 LLM을 실행할 수 있게 해 줍니다.
• 둘 다 사용자가 사용 가능한 하드웨어를 최대한으로 활용할 수 있게 하여 추론 속도를 향상하도록 설계되었습니다.
• 둘 다 멀티모달 모델을 지원하므로 텍스트뿐만 아니라 다양한 데이터를 처리할 수 있습니다.
• 둘 다 검색 증강 생성(RAG)을 지원합니다. 이는 개발자가 선택한 외부 지식/데이터로 LLM에서 기존 데이터를 보완할 수 있는 기술입니다. 

vLLM이 제공하는 고급 기능을 활용하려면 기술에 대한 심층적인 이해가 요구됩니다. 그래서 vLLM은 숙련된 개발자에게 더 적합하며, Ollama보다 학습하기가 더 까다롭습니다. 

예를 들어 vLLM은 매개 변수가 수십억 개에 달하는 모델을 포함해 모든 규모의 모델을 처리할 수 있습니다. 이 기술을 최대한으로 활용하려면 개발자가 분산 추론과 같은 개념을 구현하는 방법을 이해해야 합니다. 

또한 특정 활용 사례에 맞춰 미세 조정(fine-tuning)을 수행할 수 있다는 잠재력도 있습니다. 최고의 성능을 얻기 위해서는 개발자가 매개 변수 효율적인 미세 조정(PEFT) 및 LoRA/QLoRA와 같은 방법에 익숙해져야 합니다.

한 마디로 요약하면 vLLM은 서버의 성능을 최대한 활용해 안정적이고 확장 가능한 애플리케이션을 배포해야 하는 개발자들을 위한 툴입니다. 위에서 초고속열차라고 비유한 것을 기억하시나요? vLLM은 짧은 시간에 많은 사용자의 요청을 처리하는 데 적합합니다. 

Ollama를 사용하면 개인용 컴퓨터에 LLM을 다운로드하고 실행할 수 있으며, 간편한 방법으로 Al 모델을 테스트할 수 있습니다. 하지만 Ollama는 기본적으로 확장성이 아닌 접근성을 목표로 합니다. 사용자가 추가적인 요청을 하는 경우 대기해야 합니다. 이러한 이유로 개발자는 편리하게 작업하고 싶고 다수 사용자의 요청을 처리할 필요가 없는 경우에 Ollama를 선택합니다. 

Ollama는 기본적으로 오프라인에서 작동합니다. 일단 모델을 다운로드한 후에는 인터넷 연결 없이 사용할 수 있습니다. vLLM도 최대한의 프라이버시를 제공하기는 하지만 개인 서버를 설정하거나 보안 클라우드 환경을 구성해야 합니다. 이 추가 단계를 수행하려면 더 많은 전문 지식이 필요합니다. 

vLLM과 Ollama 둘 다 추론 서버 구성 요소를 포함합니다. 즉 vLLM과 Ollama 둘 다 수신되는 요청을 받아서 데이터를 분석한 다음 엔진으로 전송하고 응답을 패키징하여 최종 사용자의 애플리케이션으로 반환합니다. 

하지만 vLLM은 추론 엔진인 반면 Ollama는 그렇지 않습니다. 그래서 vLLM은 Ollama로는 불가능한 방식으로 추론을 최적화할 수 있습니다. 추론 엔진으로서 vLLM은 메모리를 관리하는 동시에 다수 사용자를 처리하는 데 더 뛰어납니다(동시성).

메모리 관리: vLLM은 PagedAttention 알고리즘을 사용하여 GPU 메모리 구조를 관리합니다. GPU에 여유 공간을 확보하여 동시에 더 많은 요청을 처리할 수 있도록 합니다. 이 프로세스를 통해 높은 동시성을 구현할 수 있습니다. 

동시성: vLLM은 연속 배치를 사용하여 데이터 흐름을 관리하고 GPU 사용을 최적화하므로 동시에 여러 사용자/요청을 처리할 수 있습니다. 

Ollama와 vLLM의 성능 비교해 보기

Red Hat® AI는 오픈소스 혁신을 통해 광범위한 엔터프라이즈 AI의 요구 사항을 충족하며, vLLM은 그중에서 핵심적인 툴입니다.

Red Hat AI를 통해 Red Hat AI Inference Server를 사용하여 하이브리드 클라우드 전반에서 모델 추론을 최적화함으로써 더 신속하고 비용 효율적으로 배포할 수 있습니다. 추론 서버는 vLLM을 기반으로 GPU가 효율적으로 실행되도록 하며 더욱 빠른 응답 시간을 지원합니다.

Red Hat AI Inference Server에는 모델 유연성을 허용하고 팀 간 일관성을 촉진하는, 제3자를 통해 검증되고 최적화된 모델 컬렉션인 Red Hat AI 리포지토리가 포함되어 있습니다. 기업은 제3자 모델 리포지토리에 액세스하여 시장 출시 시간을 단축하고 AI를 성공적으로 활용하는 데 드는 경제적 부담을 줄일 수 있습니다.