Exécuter des opérations d'inférence rapides et efficaces avec Red Hat AI

vLLM est un moteur d'inférence conçu pour optimiser le débit et accélérer les temps de réponse sur l'ensemble des accélérateurs matériels. Il tire parti de l'algorithme PagedAttention pour optimiser l'utilisation des GPU et accélérer la production de résultats des applications d'IA générative. 

Utilisez vLLM pour optimiser le déploiement de tout modèle d'IA générative sur tout type d'accélérateur d'IA, tout en préservant le contrôle et la prévisibilité du comportement de l'inférence dans les environnements de production.

llm-d est un framework Open Source natif pour Kubernetes qui accélère l'inférence distribuée des LLM à grande échelle. 

Ce framework augmente la vitesse de traitement des requêtes complexes impliquant de gros volumes de données que reçoivent les modèles d'IA. Son architecture modulaire et accessible fait de llm-d une plateforme idéale pour l'inférence distribuée des LLM à grande échelle. llm-d favorise l'évolutivité de l'inférence tout en maintenant le niveau de cohérence, de contrôle et de gouvernance des charges de travail distribuées.

Utilisez les indicateurs de mesure et des données sur les modèles en production pour découvrir les possibilités d'amélioration de vos modèles. Consultez les indicateurs de performances propres aux modèles, comme le délai de génération du premier jeton textuel, le taux de réussite du cache clé-valeur et l'utilisation des GPU. Utilisez ces indicateurs de mesure pour surveiller les performances, détecter les anomalies et exécuter des opérations d'inférence conformément aux différentes exigences, notamment en matière de sécurité. 

Optimisez votre choix de modèles de fondation ou personnalisés à l'aide d'une boîte à outils de modèles variés. Utilisez des techniques telles que la quantification ou la parcimonie afin de réduire les exigences matérielles et les coûts d'inférence. 

Cette boîte à outils contient notamment LLM Compressor, qui tire parti des dernières avancées en matière de compression des modèles pour optimiser la taille, la vitesse et l'utilisation des ressources des LLM. Ces avantages permettent de réduire les besoins matériels et d'améliorer l'efficacité, sans pour autant dégrader la précision.

Au-delà de ses fonctionnalités de base, LLM Compressor s'intègre à un grand nombre d'autres outils et plateformes. Il est compatible avec l'écosystème Hugging Face Transformers, ce qui permet de valider la précision avant le déploiement. Il sert également d'interface avec des frameworks de réglage fin, permettant aux utilisateurs de préserver la parcimonie lors de l'entraînement supervisé.

Cet outil garantit aussi la validation, la reproductibilité et le contrôle du comportement des modèles avant l'étape de déploiement.

En savoir plus sur LLM Compressor

Red Hat AI intègre une passerelle d'API gérée qui permet aux équipes d'ingénierie de plateforme d'IA de mettre en place des fonctionnalités MaaS. Cette passerelle offre un moyen ouvert, modulaire et indépendant vis-à-vis des fournisseurs de déployer et d'exploiter des modèles dans des environnements de cloud hybride.

Le déploiement d'une architecture MaaS centralisée permet de contrôler l'accès à des modèles spécifiques, d'appliquer des politiques et de surveiller l'utilisation au niveau des utilisateurs, des applications et des agents. Cet accès gouverné garantit que l'utilisation des modèles à grande échelle est fiable, auditable et basée sur des politiques.

Grâce à des moyens plus simples d'utiliser des modèles d'IA et des ressources GPU, les équipes de développement peuvent rationaliser l'accès aux points de terminaison d'API, et les équipes d'ingénierie de plateforme peuvent contrôler, gouverner et surveiller l'accès à leurs modèles autohébergés et hautement efficaces.

En association avec une pile d'inférence qui permet de s'adapter aux fluctuations de la demande et de l'échelle des modèles et des agents, une stratégie ouverte de gestion de l'accès aux modèles offre une base solide pour l'IA agentique, le réglage fin et le déploiement de l'IA à grande échelle.

Utilisez tout type de modèle d'IA générative ou faites votre choix parmi notre collection de modèles Open Source tiers, optimisés et validés pour une exécution efficace sur la plateforme Red Hat AI.

La validation des modèles est réalisée à l'aide d'outils Open Source tels que les frameworks GuideLLM, Language Model Evaluation Harness et vLLM. Cette approche permet de garantir la reproductibilité et de s'assurer que les modèles sont fiables, validés et déployés de manière cohérente dans tous les environnements.