AI의 미래에 이식 가능한 개방형 PyTorch 에코시스템이 필요한 이유

이 블로그는 PyTorch Day India에서 진행한 기조 연설 프레젠테이션을 바탕으로 재구성했습니다. 

오픈소스와 독점 기술 간의 논쟁에서 오픈소스가 우위를 점하고 있으며, 특히 AI 분야에서 더욱 그렇습니다. 그러나 생성형 AI 시대가 계속되면서 기업은 익숙하지만 새로운 양상의 어려움에 직면하고 있습니다. 업계는 빠른 속도로 발전하고 있지만 기반 인프라의 상당 부분은 여전히 파편화되어 있거나 독점 기술의 장벽에 갇혀 있습니다. AI가 전례 없는 잠재력을 실현하는 핵심 수단이 되려면 데이터세트와 학습 파이프라인부터 인프라와 서빙 계층에 이르기까지 모든 계층이 개방되어 있어야 합니다.

Red Hat이 그리는 개방형 미래의 비전은 명확합니다. 바로 모든 모델, 모든 가속기, 모든 클라우드를 지원하는 것입니다. 이를 현실로 만들기 위해 Red Hat은 PyTorch 커뮤니티처럼 영향력을 극대화하는 데 주력하는 오픈소스 커뮤니티에 힘을 싣고 있습니다. PyTorch는 하드웨어나 클라우드 공급업체와 관계없이 모든 기업에 유연성, 확장성, 그리고 무엇보다 접근성을 제공하는 원동력입니다. AI 혁신을 모두 누릴 수 있게 하려면, 사용자가 자신의 구체적인 요구에 가장 적합한 툴과 하드웨어를 선택할 수 있는 주도권을 보장해야 합니다.

주도권, 민주성, 선택권을 고려한 구축

오늘날 AI에 관한 논의의 상당 부분은 거대한 '프론티어' 모델에 집중되어 있습니다. 이러한 모델은 인상적이지만 관리가 까다롭고 비용이 많이 들 수 있으며, 최신 고전력 GPU가 필요한 경우도 많습니다. 이는 진입 장벽을 높여 혁신을 저해합니다. 앞으로 나아갈 길은 구성 가능한 인텔리전스에 있으며, Red Hat은 이를 커뮤니티에서 구현하기 위해 vLLM Semantic Router를 개발했습니다. 이 툴은 의도에 따라 요청을 라우팅하는 지능형 트래픽 컨트롤러 역할을 하므로, 조직은 더 접근성이 높고 효율적인 인프라를 활용해 고도화된 추론을 실현할 수 있습니다. 이를 통해 AI의 역량을 중앙화된 모놀리스에서 분산형 협업 모델로 전환하고 오픈소스 커뮤니티에서 에이전틱 개발을 실질적으로 구현할 수 있습니다.

모든 AI 전략의 핵심은 모델이 실제로 사용자와 만나는 계층인 추론 서버입니다. Red Hat은 추론 계층의 개방성과 고성능을 지원하기 위해 PyTorch Foundation에서 매우 중요한 프로젝트 중 하나인 vLLM의 주요 기여자로 참여하고 있습니다. Red Hat은 모델 자체만큼이나 모델 서빙 소프트웨어에도 높은 이식성을 제공하는 데 주력하고 있으며, 이를 통해 AI를 확장하고 전 세계 기업의 요구를 충족하고자 합니다. 그렇다면 실제로는 어떤 방식으로 구현하고 있을까요? 간단히 말해 모델이 출시되는 즉시 vLLM을 사용할 수 있도록 첫날부터 지원하고, 단일 노드 성능을 넘어서는 확장성을 추구하고, llm-d를 공동 설립하는 것입니다. 또한 프리필(prefill)과 디코드(decode) 같은 핵심 구성 요소를 분리함으로써 현대적인 기업의 분산형 하이브리드 환경을 반영하는 확장 가능한 개방형 모델 서빙 표준을 구축하는 데 기여하고 있습니다.

소프트웨어를 넘어 하드웨어의 부족과 비용 역시 AI가 직면한 가장 큰 장애물 중 하나입니다. 소프트웨어 때문에 사용자의 선택권이 희생되거나 하드웨어 선택이 제약되어서는 안 됩니다. 그러한 이유로 Red Hat은 PyTorch가 어떤 환경에서도 원활하게 실행될 수 있는 미래를 지향하며, 다양한 가속기를 지원하는 PyTorch 에코시스템 개발에 투자하고 있습니다. 주요 내용은 다음과 같습니다.

• vllm-cpu: Red Hat은 다른 업계 선도 기업들과 협력하여 기존 CPU에서도 고성능 추론을 구현하고 있습니다. 이는 비용과 전력 제약이 큰 활용 사례에서 특히 중요합니다.
• OpenReg: 이 프로젝트는 PyTorch 코어를 복잡하게 변경하지 않고도 전력 효율에 최적화된 새로운 하드웨어를 신속하게 지원할 수 있는 프레임워크를 제공합니다.
• 고급 커널: Red Hat은 Helion 및 Triton과 같은 프로젝트를 통해 기본 실리콘과 관계없이 개발자가 다양한 가속기를 더 간소하게 활용할 수 있도록 지원하고 있습니다.

이러한 투자를 바탕으로 PyTorch 커뮤니티는 AI 개발을 위한 가장 유연하고 하드웨어에 구애받지 않는 에코시스템으로 자리매김할 수 있습니다.

글로벌 엔터프라이즈를 위한 PyTorch 강화

AI가 실험실을 넘어 전 세계 은행, 항공사, 병원과 같은 미션 크리티컬 프로덕션 환경으로 확산되려면 산업 수준의 신뢰성이 필요합니다. Red Hat은 PyTorch 프로젝트에 전 세계에서 세 번째로 많은 기여를 하고 있으며, 새로운 기능 개발뿐 아니라 엔터프라이즈 수준으로 PyTorch를 강화하는 데 주력하고 있습니다. Red Hat 팀은 고부하 워크로드에서도 안정성을 확보하기 위해 Torch.Compile에서 60개가 넘는 문제를 해결하고 Red Hat Enterprise Linux(RHEL)를 공식 PyTorch 업스트림 CI에 통합했습니다. Red Hat은 모든 조직이 운영 체제를 신뢰하는 것과 같은 수준의 확신을 가지고 AI를 배포할 수 있도록 PyTorch에 기여하고 있습니다.

접근성, 주도권, 자유라는 원칙을 통해 서로의 아이디어를 바탕으로 발전하고 어느 한 조직이 단독으로 달성할 수 있는 것보다 더 빠르게 기술을 발전시킬 수 있습니다. 모델, 가속기, 클라우드와 관계없이 Red Hat은 전 세계가 잠재력을 최대한 발휘하는 데 필요한 엔터프라이즈 수준의 개방적인 기반을 구축하기 위해 최선을 다하고 있습니다.