AI 인프라를 오픈 환경에서 구축해야 하는 이유

이 시리즈의 파트 I과 파트 II에서는 효율적인 추론이 경제적으로 필수가 되는 이유와 소버린 AI에 인프라 독립성이 필요한 이유를 살펴보았습니다. 그렇다면 AI를 구동하는 인프라는 누가 구축해야 할까요?

AI 인프라는 단순한 성능을 넘어 훨씬 더 많은 부분에 영향을 미칩니다. AI 인프라는 AI 기능이 지속적으로 발전함에 따라 조직이 얼마나 빠르게 새로운 하드웨어를 채택하고, 이머징 모델을 통합하며, 적응해 나갈 수 있는지를 결정합니다.

단일 기업이 감당하기에는 너무 빠르게 발전하는 AI

AI 기술의 모든 계층이 동시에 변화하고 있습니다. 새로운 파운데이션 모델이 끊임없이 출시되고, 가속기 벤더는 새로운 아키텍처를 계속 선보이고 있으며, 조직은 퍼블릭 클라우드, 프라이빗 클라우드, 엣지 환경, 온프레미스 인프라 전반에 AI를 배포하고 있습니다.

단일 기업이 해당 에코시스템의 모든 영역을 홀로 혁신할 수는 없으며, 그럴 필요도 없습니다. 모든 조직은 당연히 자체 제품, 고객, 로드맵을 우선시합니다. 하지만 기업에는 단일 벤더의 우선순위를 따라가는 것에 그치지 않고, 더 광범위한 에코시스템과 함께 진화하는 인프라가 필요합니다.

오픈소스 AI가 나아가야 할 길 

오픈소스는 협업과 공유된 혁신을 위한 중립적인 에코시스템을 조성합니다.

조직은 동일한 오케스트레이션, 스케줄링, 관측성, 상호운용성 과제를 각자 고립된 상태에서 해결하는 대신, 오픈 환경에서 작업하며 고유한 가치를 지속적으로 창출할 수 있습니다. 그 결과 복원력과 적응성이 더욱 뛰어나며, AI 요구 사항에 맞춰 진화할 준비가 된 소프트웨어가 만들어집니다.

이러한 협업 모델은 모두에게 도움이 됩니다. 하드웨어 벤더는 더 광범위한 플랫폼 지원을 확보하고, 클라우드 제공업체는 더 뛰어난 유연성을 얻으며, 소프트웨어 기업은 기본 역량을 재구축하는 시간을 줄이고, 기업은 단일 벤더의 로드맵에 제약받지 않고 자유롭게 새로운 기술을 채택할 수 있습니다.

실전에 적용되는 llm-d

llm-d는 오픈소스 AI의 강력한 역량을 보여줍니다. CoreWeave, Google, IBM, NVIDIA, Red Hat 등을 비롯한 유력 오픈소스 기여자들이 개발한 llm-d는 높은 성능 수준을 유지하면서 점점 더 다양해지는 환경 전반에서 효율적으로 추론을 오케스트레이션해야 하는 엔터프라이즈 AI의 핵심 인프라 과제를 해결하고 있습니다.

커뮤니티가 이뤄낸 모든 개선 사항은 다른 이들이 채택하고 확장하며 개선할 수 있는 공유 기반을 강화합니다. llm-d는 또 다른 독점 사일로를 만드는 대신, 시간이 흐르면서 혁신이 누적되는 상호운용 가능한 에코시스템을 구축하도록 지원합니다.

커뮤니티가 창출하는 복원력

새로운 모델, 하드웨어, 배포 패턴이 조직의 지능형 애플리케이션 구축 방식을 재편함에 따라, AI는 앞으로도 지속적인 변화를 거듭할 것입니다. 다음 혁신이 무엇일지는 아무도 예측할 수 없기에, 오픈소스를 기반으로 구축된 AI야말로 지속 가능성을 갖춘 AI입니다. 

llm-d와 같은 프로젝트는 가장 복원력이 뛰어난 인프라가 단일 기업에 의해 소유되는 것이 아니라 커뮤니티를 통해 강화된다는 점을 잘 보여줍니다. 오픈소스 에코시스템은 공유된 과제를 함께 해결함으로써, 조직에 갈수록 가치가 높아지는 '적응할 수 있는 자유'를 제공하는 소프트웨어를 만들어냅니다.

자세히 알아보기 

Red Hat의 Brian Stevens와 Robert Shaw가 조직 및 기업이 당면한 AI 과제를 해결하기 위해 오픈소스 에코시스템을 찾는 이유에 대해 설명합니다.

• 전체 토론 보기
• 핵심 하이라이트 보기
• 블로그 포스트 읽기: llm-d의 개념, 그리고 llm-d가 필요한 이유
• llm-d에 대해 자세히 알아보기 

시리즈 확인하기:

파트 I: llm-d: 비용 부담과 용량 제약을 해소하는 혁신

파트 II: 에이전틱 AI 확장: llm-d가 인프라 주권을 지원하는 방법