모든 모델, 모든 가속기, 모든 클라우드: 오픈소스 혁신으로 엔터프라이즈 AI의 잠재력을 일깨우세요

Red Hat Summit 2023의 화두는 '모든 워크로드, 모든 앱, 모든 위치'였습니다. 지난 2년간 우리는 IT 분야에서 다양한 변화를 목격해 왔습니다. 그러나 Red Hat의 비전은 바뀌지 않았으며 진화했습니다.

모든 모델. 모든 가속기. 모든 클라우드.

그것은 AI 시대의 하이브리드 클라우드 메시지입니다. 가장 좋은 점은 '기존' 하이브리드 클라우드처럼 오픈소스 혁신을 기반으로 한다는 것입니다. 이번 주 Red Hat Summit에서 AI 에코시스템이 오픈소스를 중심으로 구축된 방식, 그리고 오픈 모델이 기업에 새로운 옵션을 제공하는 방식에 대해 알아보세요. 개방형은 다양한 선택권을 제공하며, 그러한 선택권을 통해 조직의 요구 사항을 가장 잘 충족하는 모델부터 기본 가속기, 그리고 워크로드의 실제 실행 위치에 이르기까지 광범위한 유연성을 누릴 수 있습니다. 성공적인 AI 전략은 하이브리드 클라우드 내 모든 위치의 데이터에 원활하게 액세스할 수 있도록 합니다. 

성공적인 하이브리드 클라우드의 기반은 바로 오픈소스입니다.

추론을 통한 AI 개선

저는 이제 모델을 뛰어넘어 더 큰 그림을 바라보아야 한다고 생각합니다. 물론 모델은 AI 전략에 있어 매우 중요합니다. 그러나 AI의 '작업' 단계인 추론이 없다면 모델은 아무 일도 하지 않는, 단순한 데이터 집합에 불과할 것입니다. 추론은 모델이 사용자에게 얼마나 빠르게 응답하고 가속화된 컴퓨팅 리소스를 기반으로 얼마나 효율적인 의사결정을 내릴 수 있는지와 관련이 있습니다. 느린 응답 속도와 저조한 효율성은 궁극적으로 비용을 증가시키고 고객의 신뢰를 잃게 하는 요인입니다.

그렇기 때문에 Red Hat이 Red Hat AI Inference Server 출시를 시작으로 오픈소스 AI와 관련된 노력의 초점을 추론에 맞추고 있는 것은 매우 고무적입니다. 선도적인 오픈소스 vLLM 프로젝트를 기반으로 Neural Magic의 기술로 보강된 Red Hat AI Inference Server는 AI 배포에 대한 전체 라이프사이클을 지원하는 프로덕션 레디 추론 서버를 제공합니다. 이 솔루션의 가장 큰 장점은 모든 Linux 플랫폼, 쿠버네티스 배포판, Red Hat 또는 타사를 포함해 위치에 관계없이 데이터에 액세스할 수 있다는 것입니다.

엔터프라이즈 AI보다 좋은 것은 바로 규모에 맞는 엔터프라이즈 AI입니다.

엔터프라이즈 IT의 결정적인 장점은 통합된 단일 워크로드 또는 새로운 클라우드 서비스가 아니라 빠르고 효율적으로 확장할 수 있는 능력입니다. 그것은 AI도 마찬가지입니다. 그러나 AI 워크로드의 기반이 되는 가속화된 컴퓨팅 리소스도 확장해야 한다는 점에서 차이가 있습니다. 이 하드웨어를 적절하게 구현하는 데 필요한 비용과 기술을 생각하면 이는 만만치 않은 일입니다.

AI를 확장하는 능력뿐만 아니라 대량의 AI 워크로드를 여러 가속화된 컴퓨팅 클러스터에 분산할 수 있는 능력도 필요합니다. 추론(reasoning) 모델 및 에이전틱 AI에 필요한 추론(inference) 시간 스케일링은 부담을 가중시킵니다. 그러한 부담을 나누면 성능 병목을 줄이고 효율성을 높여 궁극적으로 더 나은 사용자 환경을 제공할 수 있습니다. Red Hat은 오픈소스 llm-d 프로젝트로 이 문제를 해결하는 것에 한 걸음 더 나아갔습니다.

Red Hat이 주도하고 하드웨어 가속화, 모델 개발 및 클라우드 컴퓨팅 분야 AI 산업 리더의 지지를 받는 llm-d는 쿠버네티스의 검증된 오케스트레이션 성능과 vLLM을 결합하여 오픈소스의 두 가지 주요 장점을 통해 매우 실제적인 필요를 충족시킵니다. AI 인식 네트워크 라우팅, KV 캐시 오프로딩 등과 같은 기술을 통해 llm-d는 AI 추론을 탈중앙화하고 민주화하여 조직이 컴퓨팅 리소스를 더욱 효율적으로 활용하고 AI 워크로드의 비용 효율성과 효과를 개선할 수 있도록 돕습니다.

AI의 다음 단계에 대한 오픈 (소스)

Red Hat AI Inference Server가 제공하는 Llm-d와 vLLM은 현재 엔터프라이즈 AI 문제에 대한 답변을 바로 제공할 수 있는 오픈 소스 기술입니다. 그러나 업스트림 커뮤니티는 현재 당면한 문제 그 이상을 바라봅니다. AI 기술은 독특한 방식으로 일정표를 앞당깁니다. 빠른 혁신 속도란 몇 년 동안 문제가 되지 않을 것으로 생각한 부분이 갑자기 지금 당장 해결해야 하는 문제로 바뀌는 것을 의미합니다.

이에 대처하기 위해 Red Hat은 Llama Stack, 생성형 AI 애플리케이션 라이프사이클을 위한 표준화된 빌딩 블록과 API를 제공하는 것을 목표로 하는 Meta 주도 프로젝트, Llama Stack에 리소스를 투입하여 업스트림에서 기여하고 있습니다. 그뿐만 아니라 Llama Stack은 현재의 강력한 생성형 AI 워크로드가 더욱 진화한 형태인 에이전틱 AI 애플리케이션을 구축하는 데 매우 적합합니다. Red Hat은 미래를 한 발 앞서 경험해 보기 원하는 기업을 위해 업스트림을 넘어 Red Hat AI 내에서 Llama Stack을 개발자 미리 보기로 제공하고 있습니다.

AI 에이전트의 경우 다른 애플리케이션이 그러한 에이전트에 컨텍스트와 정보를 제공하는 방식에 관한 공통된 프로토콜이 아직 마련되지 않은 상태입니다. 모델 컨텍스트 프로토콜(Model Context Protocol, MCP)은 그러한 필요를 충족시킵니다. 앤트로픽(Anthropic)이 2024년 말에 개발하여 오픈소스화한 MCP는 이러한 에이전트와 애플리케이션 간 상호작용을 위한 표준화된 프로토콜을 제공합니다. 이는 기존 컴퓨팅의 클라이언트-서버 프로토콜과는 전혀 다릅니다. 중요한 사실은 기존 애플리케이션이 갑자기 광범위한 재개발 없이도 AI 기능을 탑재할 수 있게 된다는 점입니다. 이 놀라운 일은 오픈소스의 잠재력이 아니고서는 불가능합니다. Llama Stack처럼 MCP도 Red Hat AI 플랫폼에서 개발자 미리 보기로 사용 가능합니다.

초기에는 상용 AI 모델이 주도했을 수 있지만 이제 개방형 에코시스템이 확실히 주도권을 잡고 있으며, 특히 이러한 차세대 AI 모델을 지원하는 소프트웨어에서 그러한 경향이 두드러집니다. vLLM 및 llm-d, 그리고 강화된 엔터프라이즈 오픈소스 제품은 모델과 가속기, 클라우드와 관계없이 AI의 밝은 미래를 약속합니다. 그 바탕에는 오픈소스와 Red Hat이 있습니다.