Agiliza el desarrollo de software empresarial con NVIDIA y el modelo como servicio (MaaS) en Red Hat AI

Desarrollar software de la manera más eficiente y rápida posible es una necesidad competitiva. Cuanto antes y más rápido puedas lanzar nuevos productos al mercado, mayor será la ventaja que tendrás con tus clientes. En los últimos años, la codificación con inteligencia artificial se ha convertido en una forma eficaz de ayudar a resolver estos desafíos al encargarse de las tareas tediosas y repetitivas, y al agilizar la depuración y las pruebas. Esto libera un tiempo valioso para el trabajo de desarrollo de mayor impacto.

Sin embargo, la rápida adopción de la codificación impulsada por inteligencia artificial generativa ha planteado nuevos desafíos a nivel empresarial. A medida que las organizaciones aumentan el uso de herramientas de inteligencia artificial, se enfrentan a preguntas críticas: ¿Cómo podemos garantizar la eficiencia de costos a largo plazo? ¿Cómo protegemos la propiedad intelectual y los datos confidenciales dentro y alrededor del código base? Y ¿cómo podemos cumplir con nuestros mandatos de cumplimiento normativo y de datos? 

La mayoría de las organizaciones comienzan su adopción de la inteligencia artificial con servicios de modelos alojados, lo que suele ser un excelente punto de partida. Pero, a medida que aumenta el uso, la dependencia de los endpoints alojados de terceros, que cobran según la cantidad de tokens, puede generar costos operativos altos e impredecibles. Además, tienes un control mínimo sobre la infraestructura, la seguridad y la gobernanza de todo el stack. Esta falta de control plantea desafíos para las organizaciones empresariales, ya que a menudo las obliga a crear excepciones a políticas consolidadas y bien justificadas. NVIDIA y Red Hat colaboran para ayudarte a superar estos desafíos con plataformas como Red Hat AI Factory with NVIDIA, lo que te permite ejecutar inferencias y ajustes de alto rendimiento en tu propia infraestructura de nube híbrida, mientras mantienes la seguridad, las políticas de acceso y el uso de las GPU bajo el control de la empresa. 

Modelos como servicio: Inteligencia artificial a nivel empresarial a tu manera

Para abordar estos desafíos, también entra en juego Modelos como servicio (MaaS) en Red Hat AI.

MaaS es una función totalmente integrada en Red Hat AI que cambia radicalmente la forma en que las empresas gestionan la inteligencia artificial. Permite que tus equipos de tecnología de la información (TI) centralizados alojen y gestionen sus propios modelos en su propia infraestructura multiinquilino, totalmente según las condiciones de tu organización. A continuación, estos modelos se ponen a disposición de múltiples equipos y casos de uso internos a través de un acceso controlado por tokens de API.

Este enfoque de contar con tu propio servicio de modelos alojado de forma privada te ofrece un nivel de gobernanza y control sin precedentes. Los administradores pueden definir y establecer niveles de usuario, además de aplicar restricciones de uso específicas para cada equipo o proyecto. Esto ayuda a garantizar que cada consumidor interno tenga los recursos que necesita, y evita el uso excesivo innecesario con recursos costosos que queden inactivos. Esto simplifica el acceso a los modelos, gestiona el consumo y permite a los equipos centrales de TI supervisar las métricas, pronosticar la capacidad y los requisitos de computación, y realizar cargos internos con un alto nivel de control y previsibilidad.

Lanza hoy mismo tu propio asistente de código de inteligencia artificial privado con nuestra nueva guía de inicio rápido de inteligencia artificial

Ante la necesidad de un camino práctico, seguro y con control de costos para la codificación con inteligencia artificial, hemos añadido una nueva: "Accelerate enterprise software development with NVIDIA and MaaS" guía de inicio rápido de inteligencia artificial a nuestro catálogo de guías de inicio rápido de inteligencia artificial. Esta guía de inicio rápido de inteligencia artificial es una implementación lista para ejecutarse, diseñada para que comiences a utilizar Red Hat AI con una solución sencilla y útil de inmediato.

Esta guía de inicio rápido de inteligencia artificial es un camino sencillo y repetible para implementar tu propio asistente de código de inteligencia artificial privado, que aprovecha el poder de los modelos abiertos de NVIDIA Nemotron y la computación acelerada de NVIDIA dentro de Red Hat AI.

¿Qué incluye la guía de inicio rápido de inteligencia artificial?

La guía de inicio rápido de inteligencia artificial proporciona todos los componentes necesarios para un asistente de código de inteligencia artificial seguro y de alto rendimiento:

La plataforma: Red Hat AI, con la base de Red Hat OpenShift, proporciona la capa de orquestación para todos tus modelos y cargas de trabajo de inteligencia artificial.

Inferencia: vLLM y llm-d con KServe ofrecen el rendimiento de inferencia distribuida que necesitas cuando ejecutas modelos a escala para permitir el mejor rendimiento posible y un uso óptimo de los recursos.

Modelo de lenguaje de gran tamaño (LLM): La guía de inicio rápido de inteligencia artificial utiliza LLM líderes, incluido el modelo NVIDIA Nemotron 3 Nano 30B A3B. Se trata de un modelo cuantificado a una precisión de FP8, diseñado para aplicaciones eficientes de razonamiento, chat e inteligencia artificial con agentes.

Modelos como servicio: Totalmente integrado en el panel de Red Hat AI, proporciona una puerta de enlace de API para el seguimiento del uso, la gobernanza y los datos necesarios para una facturación interna sencilla entre los equipos.

Red Hat OpenShift Dev Spaces: OpenShift Dev Spaces ofrece a tus equipos instancias de IDE nativas de la nube para desarrollar e implementar, todo en el mismo clúster.

Nota: Las suscripciones de OpenShift incluyen OpenShift Dev Spaces.

Observabilidad: A través del operador de Prometheus en OpenShift, obtienes las métricas de inferencia y la telemetría de GPU que necesitas para comprender el uso y el rendimiento del modelo en todos los equipos.

Aceleración por GPU: Esta guía de inicio rápido de inteligencia artificial se ejecuta en la infraestructura de NVIDIA AI, habilitada por NVIDIA GPU Operator y respaldada por NVIDIA a través de la suscripción de NVIDIA AI Enterprise . Este operador habilita las GPU, gestiona los controladores necesarios, NVIDIA Data Center GPU Manager (DCGM), el kit de herramientas de contenedores y las funciones MIG para particionar los aceleradores compatibles. 

Ventajas clave

La guía de inicio rápido de inteligencia artificial del asistente de código ofrece 3 ventajas empresariales principales:

1. Control predecible de costos y presupuestos

Al ejecutar tu propia infraestructura, mantienes el control gracias a las funciones integradas que te permiten implementar límites de frecuencia de uso y cuotas, además de supervisar el consumo en detalle. Esto simplifica el seguimiento del presupuesto y facilita la previsión de los costos de escalado.

2. Seguridad y cumplimiento normativo integrados

Para las organizaciones con estrictos requisitos de gobernanza, la seguridad es algo que no puedes comprometer. La guía de inicio rápido de inteligencia artificial te ofrece un ejemplo de una implementación local o en la nube privada que mantiene tu código dentro de los límites de tu organización. Dado que alojas el modelo de forma interna en la infraestructura que gestionas, no tienes que lidiar con llamadas a API externas ni con preocupaciones por la fuga de datos.

3. Experiencia de primer nivel para los desarrolladores

Ofrecemos la base de un entorno de alto rendimiento que tus desarrolladores necesitan para trabajar de forma más rápida y eficiente. La inferencia de alta velocidad de la plataforma, que impulsan las GPU NVIDIA y nuestro stack de inferencia vLLM y llm-d, ofrece un procesamiento rápido a escala empresarial. Luego, este rendimiento se integra con un entorno de OpenShift Dev Spaces, lo que permite a tus desarrolladores trabajar juntos en el mismo clúster y mejorar la productividad. 

Comienza ahora mismo

¿Estás listo para poner a trabajar los modelos como servicio y de NVIDIA en tu programación con inteligencia artificial? 

• Consulta la guía de inicio rápido de inteligencia artificial accelerate enterprise software development with NVIDIA and MaaS:
  • Esta guía de inicio rápido de inteligencia artificial dirige a nuestro repositorio de GitHub con el código de implementación completo.
• Revisa los requisitos de hardware y software
• Comunícate a través de una incidencia de GitHub o con tu equipo de Red Hat si tienes preguntas o necesitas orientación sobre el uso de la guía de inicio rápido de inteligencia artificial.

Recursos adicionales

• Consulta el catálogo de guías de inicio rápido de inteligencia artificial
• Obtén más información sobre NVIDIA Nemotron
• Descubre las ventajas de Red Hat AI Factory with NVIDIA