エージェント型 AI には、新しいインフラストラクチャ・スタックが必要：AMD と Red Hat が提供するもの

エージェント型 AI は AI を進化させるだけでなく、従来の推論用に構築されたインフラストラクチャを根本から覆します。エージェント型 AI は、自律的に推論、計画、ツールの使用、および多段階のタスクを実行するシステムであり、研究段階から実稼働へと急速に移行しています。 

この移行は単にコンピューティング・リソースを増強するだけでなく、継続的なマルチステージの推論ワークフローに対して、インフラストラクチャがどのようにパフォーマンスを発揮し、拡張し、最適化すべきかを根本的に変えるものです。

しかし、エージェントは根本的に異なるワークロードであり、モデルを繰り返し呼び出し、複数のツールやデータソースに分散し、継続的かつコスト効率よく実行する必要があります。 

それには、複雑な推論を行う高性能 GPU、推論タスク用の CPU、そしてこれらすべてを連携させるオーケストレーションやインテリジェントなスケジューリングを網羅する、新しいインフラストラクチャが求められます。

AMD と Red Hat は強力してこの移行を可能にし、企業がエージェント型 AI を大規模に実用化できるように設計された、オープンで高性能なインフラストラクチャ基盤を提供しています。 

AMD Instinct MI355X と Red Hat AI 3.4 による高スループットの AI 推論

エージェント型ワークロードは、本質的に推論を多用します。エージェントが行うすべての推論ステップ、すべてのツール呼び出し、すべての意思決定は、すべてモデルの推論です。エージェントが複雑なワークフローをオーケストレーションし、ドキュメントを取得し、コードを生成し、出力の検証を行う際、1 つのタスクにつき数十回もの推論呼び出しを行うことがあります。そのため、GPU のスループットとメモリー容量が極めて重要になります。

Red Hat AI 3.4 は、AMD CDNA™ 4 アーキテクチャに基づいて構築された AMD のフラグシップ・データセンター GPU である AMD Instinct™ MI355X での推論を新たにサポートします。288 GB の HBM3E メモリーと 8 TB/s の帯域幅を備え、より少ないアクセラレーターで、現時点で最大規模のオープンソースモデルや、高度なエージェント推論を支えるフロンティアモデルの実行を可能にし、総所有コストを削減します。TSMC 3nm プロセス技術に基づいて構築され、最大 5 PF の FP16 パフォーマンスを実現し、エージェント型ワークロードを効率的に拡張するために必要なスループットを提供します。 

ROCm 7 と完全に統合された Red Hat AI により、企業は AMD GPU Operator を使用して Day-0 構成を効率化し、AMD Instinct MI355X で高速化された推論を Red Hat OpenShift 上にデプロイできます。MXFP6 および MXFP4 のデータタイプのサポート拡張により、より効率的な量子化モデル提供が可能となり、エージェントの有用性を支える推論品質を犠牲にすることなく、GPU あたりで実行できるエージェント数を増やすことができます。

実際には、これにより企業はより少ないアクセラレーターで大規模なモデルを実行できるようになり、インフラストラクチャのフットプリントを削減し、消費電力を低減して、推論あたりのコストを改善できます。1 つのタスクで数十回ものモデル呼び出しが発生するエージェント型 AI において、この効率性は応答時間の短縮とインタラクションあたりのコスト削減に直結します。 

AMD Instinct MI350P PCIe カードによる AI デプロイメントの柔軟性の拡大 (プレビュー)

Red Hat AI は、AMD Instinct MI350P PCIeⓇ カード・アクセラレーターのプレビューサポートを追加し、AMD CDNA™ 4 アーキテクチャを標準的なデータセンター・サーバー・インフラストラクチャにもたらします。設定可能な 600W の総ボード電力 (TBP) とパッシブ空冷を採用したデュアルスロット PCIe フォームファクターとして設計されたこれらのカードは、電源や冷却設備を大幅に見直すことなく、エンタープライズ・データセンターへシームレスに統合できます。 

AMD Instinct MI350P PCIe カードは、従来の 16 ビットおよび 8 ビット形式に加えて、効率的なモデル提供を可能にする MXFP6 および MXFP4 もサポートしています。これは、最大 4.0 TB/s のピークメモリ帯域幅を持つ 144 GB の HBM3E メモリーを備え、オープン・アクセラレーター・モジュール (OAM) ベースのシステムが実用的ではない環境においても、高性能な推論を可能にします。これにより、あらゆる規模の企業が最先端の GPU テクノロジーを自社のインフラストラクチャに導入し、小規模および大規模なモデルベースのワークロードを容易かつ効率的に実行できるようになります。

AMD Instinct MI350P PCIe カードにより、企業は管理が容易でコスト効率が高く、拡張可能な方法で、複数のワークロードにわたって AI の導入を拡大できます。これらのアクセラレーターカードは、エージェント型 AI のデプロイメントの柔軟性を高め、データのより近くで推論を実行してレイテンシーを短縮し、既存のインフラストラクチャを再構築することなく、リアルタイムの分散型エージェント・ワークフローをサポートできるようにします。

AMD Instinct MI350P PCIe カード

エージェント型 AI における分散推論とワークロードの配置

エージェント型 AI では、ワークフローの各部分に適したインフラストラクチャの調整が必要となります。Red Hat AI は、アクセラレーターと CPU ベースのインフラストラクチャ全体にわたり、AI ワークロードのデプロイ、スケーリング、監視、管理を行うための Kubernetes ネイティブの機能を提供します。プラットフォームチームは、アクセラレーター・プロファイルの設定、AMD GPU を活用したモデル提供の有効化、プロジェクトレベルのハードウェア・リソースの定義に加え、OpenShift のスケジューリング、キュー割り当て、およびワークロード管理機能を使用して、適切なインフラストラクチャにワークロードを配置できます。

モデル提供において、Red Hat AI は AMD Instinct アクセラレーターを含む AMD GPU 上の KServe および vLLM ベースのランタイムをサポートします。一方で、CPU ベースのインフラストラクチャは、オーケストレーション、検索、前処理、ルーティング、および軽量な推論タスクに利用できます。OpenShift AI には、大規模な分散 AI 推論を可能にする llm-d も含まれています。llm-d は、プリフィルとデコードの分離や KV キャッシュを考慮したルーティングなど、Kubernetes ネイティブな分散推論機能で vLLM ベースの提供を拡張します。AMD Instinct GPU および AMD EPYC™ CPU と組み合わせることで、OpenShift AI と llm-d は、GPU で高速化された推論と、効率的な CPU ベースのワークフロー実行を組み合わせることのできる、エージェント型 AI プラットフォームの実用的な基盤を企業に提供します。

その結果、効率性を向上させ、不要な GPU 消費を削減し、コストが直線的に増加することなく AI サービスをスケーリングできる、より効率的なシステムが実現します。
 

AMD EPYC と AMD ZenDNN による高性能 vLLM CPU 推論

すべてのエージェント呼び出しに GPU が必要なわけではありません。エージェント型システムは、本質的に組み合わせが可能です。単一のワークフローにおいて、複雑な推論を GPU 上の大規模モデルにルーティングする一方で、分類、抽出、ルーティングなどのより単純なタスクを小規模モデルにディスパッチすることができます。CPU が低レイテンシーのステップを効果的に処理できる状況で、すべての呼び出しを GPU で処理することは非効率的です。現代の AI システムにおいて、CPU はもはや単なる補助的なインフラストラクチャではなく、スケーラブルな推論を実現するための極めて重要なエンジンです。 

Red Hat AI 3.4 は、ZenDNN バックエンドを備えた vLLM-CPU を導入し、AMD EPYC プロセッサーに高性能な CPU 推論をもたらします。ZenDNN は、調整されたカーネルと最適化されたプリミティブを提供することで、PyTorch などのフレームワークを AMD EPYC CPU 上で効率的に実行できるようにし、スケーラブルな AI ワークロード向けの強力なエンジンを利用できるようにします。 

これは、融合パターン、ベクトル化された実行、および AMD Optimizing CPU Libraries (AOCL) DLP マイクロカーネルを含む、AMD EPYC に最適化されたグラフとオペレーターの拡張機能でネイティブフレームワークを拡張することで、vLLM にアップストリームされた ZenDNN を通じて、コード変更不要な高速化を可能にします。その結果、既存のインフラストラクチャ上で高スループット推論を行うためのプラグアンドプレイのパスが提供されます。これには、PyTorch torch.compile による幅広い互換性と、vLLM 0.18.0 におけるアップストリームのサポートが含まれます。 

INT8/INT4 量子化と最適化された vLLM 統合により、生成 AI (gen AI) モデルを CPU インフラストラクチャ上で効率的に実行できるようになり、レイテンシーの制約がそれほど厳しくないハイブリッドワークロード向けに、低コストかつ低電力のソリューションが提供されます。これにより、既存の AMD EPYC CPU フリート上で汎用コンピューティングと並行して AI 推論を実行できるようになり、インフラストラクチャの利用率が向上し、すべてのデプロイメントで専用アクセラレーターを導入する必要性を軽減できます。

CPU 推論は、ピーク時間外のバッチ処理、AI がコンピューティング全体の一部に過ぎないハイブリッドワークロード、既存のインフラストラクチャ、スキル、および空冷環境を利用した導入障壁の低い AI 導入といった、エンタープライズシナリオにおいてとくに価値を発揮します。

AMD 9005 シリーズのプロセッサーは、エージェント型 AI が求める並列処理かつ常時稼働のコンピューティング向けに設計されています。最大 192 コア (384 SMT スレッド)、高メモリ帯域幅、大容量キャッシュ、強力なコアパフォーマンス、および拡張性の高い I/O を備えており、オーケストレーション、検索、前処理、ツール呼び出し、ルーティング、および大規模なモデル推論を処理するために必要な CPU 処理能力を提供します。 

今後の次世代 AMD EPYC プロセッサー (コードネーム「Venice」) は、最大 256 コア(512 スレッド) の搭載、最大 12.8 MT/s のメモリ速度を提供する MRDIMM のサポート、最大 1.64 TB/s の帯域幅、および高スループット I/O を実現する PCie Gen 6 により、これらの能力をさらに拡張します。 

実際には、これにより GPU は複雑な推論に集中し続けることができ、その一方で AMD EPYC CPU が周囲のエージェントワークフローを効率的に管理し、多数の同時リクエストを処理して低レイテンシーを維持しながら、インフラストラクチャ全体の使用率を向上させます。 

パフォーマンス：AMD EPYC 9R45 の動作

ZenDNN バックエンドの実力を示すため、私たちは AMD EPYC 9R45 96 コアプロセッサーを使用してパフォーマンスのベンチマーク測定を実施しました。この評価では、短いコンテキストの 128:128 ワークロードにおける「chat_lite」CPU 推論ベンチマークに焦点を当てました。

テスト構成

この環境では、AWS m8a.metal-48xl インスタンスを使用しました。このアーキテクチャでは、5 つの異なる Red Hat AI Inference 3.4 インスタンスを活用し、それぞれに 32 コアを割り当て、スループットを最適化するためにプレフィックスキャッシングを有効にしました。 GuideLLM が主要な評価ツールとして機能し、NGINX ロードバランサーを経由して vLLM-CPU のパフォーマンス評価をオーケストレーションしました。

高スループットのスケーリング

並列処理数が増加するにつれて、AMD EPYC は目覚ましいスケーリング性能を発揮します。 

• 量子化による効率性： W8A8 量子化モデルは、並列処理数が 160 の場合に約 2,421 トークン/秒の平均スループットを達成しました。
• ピーク時のパフォーマンス：並列処理数が同レベルの場合に、量子化モデルの P95 スループットは 3,260 トークン/秒以上に達し、バースト的なエージェント型ワークロードを処理するプロセッサーの能力を実証しました。
• ベースパフォーマンス：標準的な FP16 Llama-3.1-8B モデルでも、並列処理数が 160 の場合に約 1,500 トークン/秒の安定した平均スループットを維持しました。

エージェント型ワークフローの予測可能なレイテンシー

AI エージェントの優れた応答性を実現するには、最初のトークンが出力されるまでの時間 (TTFT) とトークン間レイテンシー (ITL) が極めて重要になります。

• 応答性：量子化モデルは極めて低い平均 TTFT を維持し、並列処理数が 160 の場合でも 2 秒のしきい値をはるかに下回ります。
• 流動性：量子化モデルの平均 ITL は非常に高い一貫性を維持し、テスト全体を通じて約 100ms - 130ms の範囲内に収まっています。
• エンドツーエンドの効率性：量子化モデルにおけるフル生成の平均エンドツーエンド (E2E) レイテンシーは、最大の並列処理レベルで約 16.8 秒であったのに対し、非量子化バージョンでは 27 秒以上でした。 

vLLM と ZenDNN を Red Hat AI Inference に統合した上で、AMD EPYC プロセッサーにおけるパフォーマンスをさらにチューニングし、最適化するため、今後のリリースに向けて AMD と引き続き緊密に連携していきます。これらの最適化の提供が開始されるのに合わせ、今後の最新情報にご注目ください。 

エージェント型 AI が求めるインフラストラクチャ

Red Hat Summit 2026 において、AMD と Red Hat は、エージェント型 AI 向けの統合されたエンタープライズ対応基盤を発表しました。AMD Instinct GPU と AMD EPYC CPU を Red Hat AI の中核に据えたこれまでの戦略的な協業をさらに発展させ、両社はエンタープライズ・エージェント型 AI 向けのコンピューティング基盤を共同で構築しました。

推論からエージェントへの移行は単なるソフトウェアの変更ではなく、インフラストラクチャにおける転換点です。エージェントには、複雑な推論を行うための高スループット GPU、軽量タスク用の CPU、多様なデプロイに対応する柔軟なフォームファクター、およびコンピューティング資源と需要をリアルタイムで一致させるインテリジェントなスケジューリングが必要です。

AMD と Red Hat は、最先端のモデル推論のための MI355X、コスト効率の高い軽量呼び出しのためのAMD EPYC vLLM-CPU、および新しい環境にGPUアクセラレーションをもたらす MI350P という基盤の構成要素を提供しています。すべてがオープンソースをベースとして構築されており、すべてがエンタープライズ対応です。さらに、すべてが Red Hat AI でご利用いただけます。

エージェント型 AI は企業の運営方法を再定義しつつあり、インフラストラクチャは今や戦略的な差別化要因となっています。Red Hat AI に緊密に統合された AMD Instinct アクセラレーターと AMD EPYC プロセッサーにより、組織は、実世界で効果を発揮するよう設計された、スケーラブルで効率的かつオープンな AI プラットフォームをデプロイできます。AMD と Red Hat は、単にエージェント型 AI の時代を支えるだけでなく、企業がそれを運用化できるよう支援しています。