NVIDIA DGX Spark 기반 RHEL을 통한 로컬 AI 개발 강화

기업이 생성형 AI에 대한 단순한 기대를 넘어 거버넌스가 적용되고 프로덕션 환경에 즉시 적용 가능한 AI 애플리케이션을 구축하는 단계로 전환함에 따라 몇 가지 새로운 과제가 대두되었습니다. 현재 많은 기업이 모든 프롬프트를 대규모 클라우드 기반 LLM으로 전송하고 있으며, 이로 인해 과도한 비용, 높은 지연 시간, 불필요한 데이터 노출이 발생할 수 있습니다. 

이 문제를 해결하기 위해 Red Hat은 NVIDIA와 협력하여 엔터프라이즈급 AI 개발 환경을 개발자의 데스크로 직접 가져옵니다. Red Hat은 NVIDIA DGX Spark에서 제공되는 Red Hat Enterprise Linux 10(RHEL 10)의 개발 프리뷰를 발표하게 되어 기쁩니다. 

NVIDIA GB10 Grace Blackwell 아키텍처를 기반으로 하는 NVIDIA DGX Spark는 최대 1페타플롭의 성능, FP4 데이터 형식 지원, 128GB 통합 메모리를 제공합니다. Red Hat은 이 하드웨어를 신뢰할 수 있는 운영 체제 및 개발자 툴과 결합하여 엣지 환경에서 내부 개발 루프와 로컬 에이전틱 AI 워크로드를 지원하는 고성능 AI 개발자 워크스테이션을 제공합니다. 

개발자는 이러한 조합을 통해 프로덕션 환경으로 워크로드를 배포하기 전에 Red Hat Desktop과 같은 익숙한 툴을 사용하여 로컬에서 복잡한 에이전틱 워크플로우를 구축, 테스트 및 평가할 수 있습니다.  

이러한 혁신이 중요한 이유

NVIDIA DGX Spark 기반 RHEL을 통해 Red Hat은 다음과 같은 엔터프라이즈 AI 도입의 주요 장애물을 해결하고 있습니다.

• 비용 제어 및 데이터 주권: 기업은 민감한 트래픽을 로컬에서 유지하고 중간 수준 이하의 복잡한 태스크에 소규모 언어 모델(SLM)을 활용함으로써 클라우드 API 비용을 절감하는 동시에 민감한 데이터의 범위를 로컬 워크스테이션으로 한정할 수 있습니다. 또한 NVIDIA DGX Spark의 128GB 통합 메모리는 대규모 언어 모델(LLM) 호스팅을 지원하며 모델 개발 과정에서 클라우드 비용을 더욱 절감하는 데 도움이 됩니다. 
   
• 평가 기반 개발: 자율 AI 에이전트는 비결정적 특성을 가지므로 표준 단위 테스트만으로는 충분하지 않습니다. NVIDIA DGX Spark에서 RHEL을 실행하면 엄격한 테스트를 위한 최적의 샌드박스 환경이 제공됩니다. 개발자는 투명한 궤적 추적을 위해 임베디드 MLflow 인스턴스를 활용하여 툴 호출 및 모델 쿼리를 더 효과적으로 캡처하고, 프로덕션 배포 전에 로컬에서 LLM 기반 평가(LLM-as-a-Judge)를 수행할 수 있습니다.
   
• 코어에서 클러스터까지의 일관성: RHEL을 기본 OS로 표준화함으로써 개발자는 인프라 마찰에 대한 걱정 없이 애플리케이션 구축에만 집중할 수 있습니다. RHEL은 프로덕션 안정성과 개발자 민첩성을 결합하여 하이브리드 클라우드 환경과 업계 최고의 칩 아키텍처 전반에서 애플리케이션 개발 가속화를 지원합니다. 더불어 로컬 워크스테이션 개발에서 Red Hat OpenShift 기반의 대규모 배포로 전환하는 과정이 더욱 간소화되고 예측 가능한 파이프라인으로 구성됩니다.

AI의 미래는 하이브리드이며, 그 시작은 개발자의 데스크입니다. Red Hat 담당자에게 문의하여 NVIDIA DGX Spark에서 제공되는 RHEL 10 개발 프리뷰에 대해 자세히 알아보고 AI 여정을 어떻게 가속화할 수 있는지 확인해 보세요.