Red Hat AI Inference

Red Hat® AI Inference は、高速で一貫性があり、コスト効率に優れた推論を大規模に提供する統合スタックです。

試す

お問い合わせ

クイックリンク

AI 推論のコストが高すぎませんか？動画の再生時間：2:16

Red Hat AI Inference とは

Red Hat AI Inference は、ハイブリッドクラウドにおいて任意のアクセラレーターであらゆるモデルを実行するための運用制御を提供します。

vLLM と llm-d を活用したエンドツーエンドの推論スタックは、トークンの経済性とハードウェア容量を最適化して、応答時間を短縮します。このオープンソース・テクノロジーは、エージェント型 AI や Model-as-a-Service パターンのエンジンとして機能し、パフォーマンスを犠牲にすることなく効率を向上させます。

AI 推論を重視すべき理由

vLLM：推進力となるオープンソース・テクノロジー

vLLM は高効率の推論エンジンであり、トークンあたりのコスト削減と安定したレイテンシーを大規模に実現することで、GPU 使用率の問題を解決します。

vLLM は、可搬性に優れたオープンソースのアプローチと成長を続けるコミュニティにより、Linux® の生成 AI 推論として存在感を高めています。

主要な商用コントリビューターとして、Red Hat は vLLM に関する独自の専門知識を提供し、お客様の AI の目標達成を支援しています。

vLLM コミュニティを見る

vLLM コミュニティの現状

50 万基以上の GPU がデプロイ済みで常時稼働¹

200 以上の異なるアクセラレータータイプ²

500 以上のサポート対象モデルアーキテクチャ²

24 倍のスループットを実現 (競合他社との比較)³

メリット

ハードウェアとモデルの柔軟性

あらゆるハードウェアやクラウド上の任意のモデルで、運用の一貫性を維持します。

AI を基盤となるインフラストラクチャから切り離して、統合された Model-as-a-Service アーキテクチャを構築し、モデルの提供とエージェントの実行を効率化します。

トークンの経済性を管理

vLLM と llm-d を使用してスループットを向上させ、トークンあたりのコストを削減します。

既存のリソースを最適化して、エージェント実行のコスト効率を高め、AI を持続的に拡張します。

予測可能なスケーリング

推論トラフィックをインテリジェントに分散して、既存のインフラストラクチャ上でより多くのユーザーとエージェントにサービスを提供します。

マルチモーダル・エージェント型ワークフローから RAG ベースのチャットボットやコードアシスタントまで、多様なユースケースと要求を確実に管理します。

llm-d への早期アクセスを利用する

Red Hat AI Inference では、サードパーティ Kubernetes 環境での llm-d と Red Hat OpenShift® の分散推論機能の早期アクセスが利用できるようになりました。

llm-d の詳細はこちら

モデルを自由に選べる

AI スタックを再構築することなく、統合された Model-as-a-Service アーキテクチャを構築します。

Red Hat AI Inference は、オープンソースモデルとハードウェア・アクセラレーターのあらゆる組み合わせに対して、運用の一貫性を実現します。Red Hat AI プラットフォーム上で効率的に動作することが検証済みで、コストが最適化されたモデルのコレクションを活用して、自信を持ってデプロイメントを加速できます。

Hugging Face のモデルリポジトリを確認する

Red Hat AI で 233% の投資対効果 (ROI)

Red Hat は Forrester Consulting に Total Economic Impact™ (TEI) 調査の実施を依頼し、Red Hat AI を導入することで組織が実現する可能性がある投資対効果 (ROI) について調べました。

Red Hat AI のお客様に聞き取り調査を行った結果、調査対象の顧客に基づく複合組織が 3 年間で 233% の ROI を実現し、初期投資の 3 倍以上の総価値を得たことがわかりました。⁴

調査結果を読む

製品のハイライト

モデルを大規模かつ効率的に提供するために設計された、包括的で完全に統合された推論スタックを利用できます。

データシートを入手する

特長	詳細	メリット
llm-d	OpenShift で分散推論機能を実行でき、サードパーティの Kubernetes 環境で llm-d への早期アクセスも利用できます。	推論を高速化し、任意の Kubernetes ディストリビューションで実行される AI インフラストラクチャをさらに活用できます。	ドキュメントを見る
生成 AI 固有のテレメトリー	最初のトークンまでの時間 (TTFT)、KV キャッシュのヒット」率、GPU 使用率など、モデル固有のパフォーマンス指標を確認できます。	厳格なサービスレベル目標 (SLO) を達成するための知見を得て、モデルの改善点を確認します。
モデル最適化ツールキット	スパース性や量子化などの手法を使用して、カスタムモデルや基盤モデルを最適化します。	ハードウェア容量を最大限に活用することで、コストを最小限に抑え、推論を高速化します。	ドキュメントを見る
スパースな混合専門家 (MoE)	低レイテンシーのエージェントと高度な推論モデルを使用して、スパースな MoE アーキテクチャを実行します。	効率的なモデルアーキテクチャにより、パフォーマンスを犠牲にすることなく推論コストを削減できます。	ドキュメントを見る
すべての Red Hat 製品で認定済み	Red Hat AI Inference の機能は、Red Hat AI Enterprise および Red Hat OpenShift® AI の一部です。また、Red Hat OpenShift および Red Hat Enterprise Linux でもサポートされています。	Red Hat 製品を使用するか、当社のサードパーティ・サポート・ポリシーに基づいて Linux および Kubernetes プラットフォームにデプロイできます。	ドキュメントを見る