Red Hat AI による高速で効率的な推論

vLLM は、ハードウェア・アクセラレーター全体でスループットを最大化し、応答時間を短縮するように設計された推論エンジンです。PagedAttention アルゴリズムを使用して GPU の使用率を最適化し、生成 AI アプリケーションの出力速度を向上させます。 

vLLM を使用することで、あらゆる生成 AI モデルをあらゆる AI アクセラレーターに最適化してデプロイできると同時に、プロダクション環境における推論動作を制御可能かつ予測可能なものに維持できます。

llm-d は、大規模な分散 LLM 推論を高速化する、Kubernetes ネイティブのオープンソース・フレームワークです。 

つまり llm-d は、AI モデルが大量のデータを含む複雑なクエリを受け取った場合の処理を高速化するフレームワークとなります。そのアクセスしやすいモジュール式アーキテクチャにより、llm-d は大規模な分散 LLM 推論に最適なプラットフォームとなります。 分散ワークロード全体にわたって一貫性、制御、およびガバナンスを維持しながら、スケーラブルな推論をサポートします。

実稼働中のモデルの指標と分析結果を活用して、モデルの改善点と改善方法を見つけ出します。最初のトークンまでの時間 (TTFT)、KV キャッシュのヒット率、GPU 使用率など、モデル固有のパフォーマンス指標を確認できます。 これらの指標を使用してパフォーマンスを監視し、異常を検出し、推論が運用、セキュリティ、およびポリシーの要件を満たすようにすることができます。 

多様なモデルツールキットを活用して、任意の基盤モデルまたはカスタムモデルを最適化します。量子化やスパース性などの技術を用いることで、ハードウェア要件を削減し、推論コストを低減します。 

LLM Compressor などのツールがツールキットに含まれています。これは最新のモデル圧縮研究を利用して、LLM をより小型化し、エネルギー効率を高め、高速化します。これにより、精度を犠牲にすることなく、ハードウェア要件が削減され、効率が向上します。

LLM Compressor は、その中核機能に加え、他のツールやプラットフォームと幅広く連携できます。Hugging Face Transformers のエコシステム内での推論をサポートし、デプロイ前の精度検証が可能です。また、ファインチューニング・フレームワークとの連携も可能で、ユーザーは教師あり学習中にスパース性を維持できます。

デプロイ前にモデル動作の妥当性、再現性、および制御を維持しながら、上記すべてを達成するのに役立ちます。

LLM Compressor の詳細はこちら

Red Hat AI には、マネージド API ゲートウェイの統合が含まれています。これによって AI プラットフォームエンジニアは、内部の Models-as-a-Service (MaaS) 機能をセットアップできます。これは、ハイブリッドクラウド環境全体でモデルをデプロイおよび運用するための、オープンでモジュール式の、ベンダーに依存しない方法を提供します。

一元化された MaaS アーキテクチャによってモデルへのアクセスを制御することで、特定のモデルにアクセスできるユーザーを制御し、ポリシーを適用し、ユーザー、アプリケーション、エージェントの使用状況を監視します。これにより、信頼性が高く、監査可能で、ポリシー駆動型のモデル使用を大規模に実現できます。

AI モデルと GPU リソースをより簡単に利用できるので、開発者は API エンドポイントへのアクセスを効率化でき、プラットフォームエンジニアは高性能のセルフホスト型モデルのアクセス消費を制御、管理、監視できます。

モデルアクセスを管理するためのオープンな戦略は、モデルやエージェントの予測不可能な需要と規模をサポートする推論スタックと組み合わせることで、エージェント型 AI、ファインチューニング、および大規模な AI のための強力な基盤を形成します。

任意の生成 AI モデルを使用するか、オープンソースで提供されるサードパーティモデルの最適化されたコレクションから選択できます。このコレクションのモデルは、Red Hat AI プラットフォームで効率的に動作することが検証済みです。

Red Hat AI のモデル検証は、GuideLLM、Language Model Evaluation Harness、vLLM などのオープンソースツールを使用して行われます。 これにより、お客様側での再現性が確保されるとともに、モデルの検証、信頼性、さまざまな環境への一貫したデプロイが保証されます。