NAIRR, Red Hat, 그리고 오픈소스의 AI 연구 컨트롤 플레인 지원

오픈소스 커뮤니티의 인공지능(AI) 프로젝트는 매우 흥미로우면서도 도전적인 속도로 성장하고 있습니다. 스탠포드 대학교(Stanford University)의 2025 AI Index Report에 따르면, 작년 한 해 동안 GitHub에서 생성된 오픈소스 AI 프로젝트는 무려 430만 개에 달하며, 이는 단 12개월 만에 40%나 급증한 수치입니다. 연구원들에게 이러한 추진력은 매우 중요하지만, 연구 성과를 이끄는 데이터와 지적 재산에 대한 제어 권한을 잃지 않으면서 개방형 환경에서 협업해야 한다는 근본적인 과제도 안겨줍니다. 

연구 맥락에서는 단순히 하드웨어 소유권이 누구에게 있는지만이 중요한 것이 아닙니다. 자신의 환경에 대해 관리적 제어 권한을 갖는 것이 핵심입니다. 연구원과 과학자에게 데이터는 생명과도 같습니다. 따라서 공유 공간에서도 고유한 입력 데이터가 안전하게 보호된다는 확신이 필요합니다. 프로젝트의 디지털 풋프린트를 독립적으로 제어하고 보호할 수 있는 이러한 역량 덕분에 진정한 협업 연구 환경이 가능해집니다. 다행히 연구 커뮤니티에서는 프로젝트 수준의 제어를 통해 격차를 해소하고 데이터 중력을 더욱 스마트하게 관리하는 해결책이 등장했습니다.

저는 Red Hat에서 근무하며 National AI Research Resource(NAIRR) 프로그램에 참여하는 행운을 얻었습니다. National Science Foundation(NSF)이 주도하는 NAIRR은 미국의 연구 리소스를 발전시켜 AI 개발 과제를 해결하고, 대형 기술 기업들만 주로 사용하던 하이엔드 AI 컴퓨팅 및 데이터 리소스에 대한 접근성을 민주화하기 위해 설립되었습니다. 현재 장기적인 연구 리소스로 발전하고 있는 NAIRR은 모든 배경의 연구자와 교육자를 지원하는 확장 가능한 국가 인프라를 구축하고 있습니다. 이 프로젝트는 미국 연구 분야의 획기적인 사례일 뿐만 아니라, 공유 환경에서 프로젝트가 독립성과 투명성을 유지하는 방법을 보여주는 반복 가능한 모델이기도 합니다.

연구 격리 아키텍처

NAIRR은 연구원들이 수천 개의 개별 리소스 복사본을 직접 구축할 필요가 없도록 대규모의 효율적인 인프라 모델인 '워터링 홀(watering hole)' 역할을 합니다.  프로젝트 파일럿 단계부터 미국 전역과 그 영토에서 670개 이상의 프로젝트와 참가자가 참여했다는 점만 보더라도 그 규모를 짐작할 수 있습니다.  하지만 워터링 홀이 효과를 거두려면 모든 참가자가 각자의 연구 요구 사항에 맞춰 성공적으로 연구를 수행할 수 있는 전용 공간이 필요합니다. NAIRR은 이러한 접근 방식을 활용하여 혁신가들이 제어 권한을 포기하지 않고도 오픈소스 기반 위에서 연구를 안정적으로 진행할 수 있도록 지원합니다. Red Hat이 IBM, AI Alliance, Mass Open Cloud와 공동으로 진행하는 Deep Partnership Pilot에서 연구원들이 프로젝트 수준의 경계를 유지할 수 있도록, Red Hat은 기본 하드웨어를 오케스트레이션하는 소프트웨어 계층을 제공합니다. 이를 통해 연구원은 멀티 테넌트 클러스터 내에서 자신의 네임스페이스에 대한 자율적인 제어에 필요한 툴과 기능을 갖출 수 있으며, 리소스 제공업체는 환경을 효율적으로 관리할 수 있습니다. NAIRR 기반으로 작업하는 연구원들은 Red Hat OpenShift, Red Hat OpenShift AI, Red Hat Enterprise Linux, Red Hat Advanced Cluster Management for Kubernetes를 포함한 엔터프라이즈급 AI 인프라를 사용할 수 있습니다.

AI 및 머신 러닝 실험의 전체 라이프사이클에 이러한 일관된 스택을 제공함으로써, Red Hat은 프로젝트 제어권을 타협하지 않으면서도 혁신이 꽃필 수 있는 협업 에코시스템을 지원합니다. 예를 들어 연구원은 Red Hat OpenShift를 사용하여 각 프로젝트에 고유한 쿠버네티스 네임스페이스와 계층 2 VLAN을 할당할 수 있습니다. 또한 리소스 기반 액세스 제어(RBAC)를 사용하고, 자체 프로젝트 내에서 또는 타인과의 협업 시 다양한 수준의 리소스 및 데이터 액세스 권한을 가진 그룹을 생성할 수 있습니다. 이러한 기술적 구성을 통해 공유 데이터 센터에서도 모든 프로젝트가 독립된 '공간'을 확보하여 네트워크 트래픽과 데이터를 무단 액세스로부터 보호할 수 있음을 확인했습니다. 이러한 기반은 연구자가 기술 여정 전반에서 독립성을 유지하며 초기 발견 단계부터 검증된 결과 도출 단계까지 나아갈 수 있도록 돕습니다.

공유 확장성과 독립적 소유권의 균형

NAIRR 접근 방식의 가치는 효율성과 데이터 중력을 관리하는 능력에 있습니다. Red Hat은 이 인프라에서 실행되는 소프트웨어 환경인 공유 오픈소스 기반을 제공함으로써, 조직이 인프라 지출의 이점을 극대화하고 컴퓨팅 성능을 데이터와 가깝게 유지하도록 지원합니다. Red Hat의 기여는 과학자들이 작업을 커스터마이징하는 데 사용할 수 있는 다른 많은 툴 및 리소스와 함께 더 광범위한 협업 에코시스템의 일부를 구성합니다.

연구는 모든 상황에 일률적으로 적용되는 것이 아니므로 필요한 제어 수준도 제각각일 수 있습니다. 때로는 연구원들이 필요로 하는 격리가 소프트웨어 정의 경계를 넘어 하드웨어 자체에까지 미치기도 합니다. 많은 연구자가 공유 플랫폼을 활용하고 있지만, 로우 레벨 운영 체제 개발이나 고정밀 GPU 테스트와 같은 전문적인 측정을 위해 하드웨어를 단독으로 소유해야 하는 연구자도 있습니다. 이를 지원하기 위해 NAIRR은 격리된 베어 메탈 시스템에 대한 액세스도 제공합니다. 연구원이 Red Hat OpenShift에서 관리하는 컨테이너를 사용하든 원시 하드웨어를 사용하든 관계없이, Red Hat은 연구원이 공유 커뮤니티에 계속 참여하면서 작업의 독립성을 유지하도록 지원하는 안정적이고 안전한 운영상의 가교 역할을 제공합니다.

실험적 발견을 위한 공간 조성

이 작업의 핵심은 인텔리전스 계층의 미래를 탐색할 수 있는 안정적인 환경을 제공하는 것입니다. 다양한 AI 모델이 등장한 시대에 컴퓨팅 성능은 희소한 글로벌 리소스이므로, 이를 더 효율적으로 사용할 수 있는 방법을 찾아야 합니다. 바로 이 지점에서 격리된 테스트베드가 매우 중요해집니다. 테스트베드를 통해 핵심 연구를 중단하지 않고도 추론 라우팅과 같은 새로운 범주를 실험할 수 있습니다. 즉, 간단한 태스크를 비용 효율적인 AI 모델로 지능적으로 전달하는 동시에 가장 복잡한 문제 해결을 위해 대규모 컴퓨팅 리소스를 예약할 수 있습니다.

예를 들어, NAIRR에서 지원하는 프로젝트 중 하나인 Multi-Modal Semantic Routing for vLLM은 Red Hat이 설립한 vLLM Semantic Router project를 확장하기 위한 전용 프로젝트입니다. 이 작업은 음성-텍스트 파이프라인과 비전 기능에 중점을 두고 오픈소스 환경에서 투명하고 감사 가능한 의사 결정 로직을 유지하는 방법을 모색합니다. Red Hat은 이러한 샌드박스를 제공하여 특정 프로젝트가 AI 연구의 경계를 넓히는 동시에 광범위한 커뮤니티의 안정성을 보장하도록 지원합니다.

이러한 실험 능력은 AI 모델이 단순한 생성을 넘어 복잡한 자율 태스크를 수행하는 에이전틱 AI로 전환됨에 따라 특히 중요합니다. 이러한 트렌드가 업계의 유행을 넘어 과학적 혁신으로 이어지려면 연구자들에게는 단순한 컴퓨팅 성능 이상의 것이 필요합니다. 즉, 전문가 수준의 라이프사이클 관리와 표준화를 제공하는 혁신을 위한 가교가 필요합니다. 사람의 액세스에 제어와 가드레일이 필요한 것처럼, 연구원에게는 프로젝트 내에서 데이터 및 컴퓨팅에 액세스하는 에이전트에 대해 동일한 수준의 감독이 필요합니다.

NAIRR 에코시스템은 성숙해짐에 따라 바로 그러한 환경을 제공합니다. Red Hat은 최적화를 위한 PyTorch와 워크로드 관리를 위한 SLURM과 같은 강력한 연구 툴 컬렉션이 통합된 고성능 기반으로 작동할 수 있도록 Red Hat Enterprise Linux, Red Hat OpenShift, Red Hat OpenShift AI의 통합 스택인 운영상의 가교를 제공하여 이를 지원합니다. 이를 통해 연구원은 고도의 과학 기술이 요구하는 것과 동일한 수준의 엔터프라이즈급 엄격함으로 자율 에이전트를 구축, 훈련 및 배포할 수 있습니다.

NAIRR과 함께 진행 중인 작업은 오픈소스에서의 혁신이 운영상 안정적이고 유연한 AI를 구축하는 가장 좋은 방법이며, 공유 리소스와 개별 제어가 상충하지 않는다는 점을 증명합니다. Red Hat은 프로젝트 수준의 경계를 지원하는 오픈소스 툴의 기반을 제공함으로써 AI의 미래가 협업적이면서도 독립적일 수 있음을 입증하고 있습니다.