AI010

Red Hat AI Inference Server Technical Overview

Resumen

Optimiza tus cargas de trabajo de inteligencia artificial y reduce costos con Red Hat AI Inference Server.

Descripción del curso

  • Obtén información esencial sobre la implementación de la inteligencia artificial con el curso Red Hat AI Inference Server Technical Overview. Aprende a abordar las complejidades y los costos de ejecutar modelos de inteligencia artificial en la producción. Descubre la manera en que la solución de Red Hat, con la tecnología de los modelos de lenguaje de gran tamaño virtuales (vLLM), optimiza el rendimiento y reduce los costos significativamente en los entornos de nube, los locales, los virtualizados y del extremo de la red. Profundiza en técnicas avanzadas, como la cuantificación y la decodificación especulativa, para mejorar las funciones de inferencia de la inteligencia artificial. En este video con acceso por solicitud se muestra la implementación y la gestión sencillas de los modelos dentro de OpenShift AI. También se demuestra la manera en que puedes lograr una eficiencia y una flexibilidad sin precedentes para las cargas de trabajo de inteligencia artificial.

Resumen del contenido del curso

  • definición de la inferencia;
  • desafíos relacionados con la inferencia;
  • solución Red Hat AI Inference Server;
  • integración con la cartera de productos de Red Hat AI;
  • flexibilidad de la implementación;
  • herramienta de compresión de LLM (cuantificación);
  • técnicas de optimización del rendimiento (caché de KV, decodificación especulativa, inferencia paralela de tensores);
  • Estudios de casos
  • implementación y gestión de los modelos;
  • conexiones de almacenamiento para los modelos;
  • indicadores y supervisión;
  • integración con Hugging Face.

Público destinatario del curso

  • ingenieros y especialistas en inteligencia artificial/machine learning (aprendizaje automático);
  • ingenieros de DevOps;
  • arquitectos e ingenieros de nube;
  • responsables de la toma de decisiones técnicas.

Capacitación recomendada

  • Este resumen técnico no supone requisitos previos.

Aspectos tecnológicos que debes tener en cuenta

  • N/C
 Descripción

Descripción del curso

  • definición de la inferencia;
  • desafíos relacionados con la inferencia;
  • solución Red Hat AI Inference Server;
  • integración con la cartera de productos de Red Hat AI;
  • flexibilidad de la implementación;
  • herramienta de compresión de LLM (cuantificación);
  • técnicas de optimización del rendimiento (caché de KV, decodificación especulativa, inferencia paralela de tensores);
  • Estudios de casos
  • implementación y gestión de los modelos;
  • conexiones de almacenamiento para los modelos;
  • indicadores y supervisión;
  • integración con Hugging Face.
 Resultados

Próximo curso o examen recomendado

Seleccionar ubicación

Explorar ahora

Capacitación in situ disponible

Si quiere capacitar a todo su equipo podemos hacerlo en su establecimiento, en persona o de manera remota.

Red Hat Learning Subscription

Capacitación integral y planes de capacitación sobre los productos de Red Hat, certificaciones reconocidas en el sector y una experiencia de aprendizaje de TI flexible y dinámica.

Conoce las opiniones de otros estudiantes sobre este curso en nuestra Red Hat Learning Community.