Impulsa el desarrollo de inteligencia artificial local con RHEL en NVIDIA DGX Spark

A medida que las empresas pasan de la expectativa de la inteligencia artificial generativa a la creación de aplicaciones de inteligencia artificial gobernadas y listas para la producción, surgen varios desafíos nuevos. En la actualidad, muchas empresas envían todas sus peticiones a los LLM masivos basados en la nube, lo cual puede generar costos excesivos, alta latencia y exposición innecesaria de los datos. 

Para resolver este problema, Red Hat, en colaboración con NVIDIA, lleva el desarrollo de la inteligencia artificial de nivel empresarial directamente al escritorio del desarrollador. Nos complace anunciar la vista previa de desarrollo de Red Hat Enterprise Linux 10 (RHEL 10) en NVIDIA DGX Spark. 

Con la tecnología de la arquitectura NVIDIA GB10 Grace Blackwell, NVIDIA DGX Spark ofrece hasta 1 petaflop de rendimiento, soporte para el formato de datos FP4 y 128 GB de memoria unificada. Al combinar este hardware con el sistema operativo confiable y las herramientas para desarrolladores de Red Hat, ofrecemos una estación de trabajo de desarrollo de inteligencia artificial de alto rendimiento que permite el ciclo de desarrollo interno y las cargas de trabajo locales de inteligencia artificial con agentes en el extremo. 

Esta combinación permite que los desarrolladores creen, prueben y evalúen flujos de trabajo complejos de inteligencia artificial con agentes de forma local con herramientas conocidas, como Red Hat Desktop, antes de llevar esas cargas de trabajo a producción.  

¿Por qué es importante?

Con RHEL en NVIDIA DGX Spark, abordamos los principales obstáculos para la adopción de la inteligencia artificial empresarial, lo que incluye:

• Control de costos y soberanía de los datos: Al mantener el tráfico confidencial de forma local y utilizar modelos de lenguaje pequeños (SLM) para tareas de complejidad media a baja, las empresas pueden reducir su gasto en API de nube a la vez que restringen sus datos confidenciales a una estación de trabajo local. Además, los 128 GB de memoria unificada en NVIDIA DGX Spark permiten alojar modelos de lenguaje de gran tamaño (LLM) y pueden ayudar a reducir aún más los costos de la nube durante el desarrollo del modelo. 
   
• Desarrollo basado en la evaluación: Los agentes de inteligencia artificial autónomos no son deterministas, lo que hace que las pruebas unitarias estándar sean insuficientes. La ejecución de RHEL en NVIDIA DGX Spark proporciona el entorno de aislamiento definitivo para realizar pruebas rigurosas. Los desarrolladores pueden usar instancias integradas de MLflow para el seguimiento de trayectorias de “caja de cristal”, lo que permite capturar llamadas a herramientas y peticiones de modelos de manera más eficaz y realizar evaluaciones de LLM como juez de forma local antes de pasar a producción.
   
• Coherencia del núcleo al clúster: Al estandarizar RHEL como el sistema operativo subyacente, los desarrolladores pueden centrarse en la creación de sus aplicaciones sin preocuparse por la fricción de la infraestructura. RHEL combina la estabilidad de la producción con la agilidad del desarrollador para ayudar a acelerar el desarrollo de aplicaciones en entornos de nube híbrida y arquitecturas de chips líderes del sector. Además, la transición del desarrollo en estaciones de trabajo locales a las implementaciones a gran escala en Red Hat OpenShift se convierte en un proceso más optimizado y predecible.

El futuro de la inteligencia artificial es híbrido y comienza en el escritorio del desarrollador. Ponte en contacto con tu representante de Red Hat para obtener más información sobre la vista previa de desarrollo de RHEL 10 en NVIDIA DGX Spark y cómo puede ayudarte a acelerar tu camino hacia la inteligencia artificial.