AI 推論とは何か
AI 推論とは、AI モデルがデータに基づいて答えを導き出すことです。一般的に「AI」と呼ばれるものは、実際には AI による推論が成功したものであり、機械学習テクノロジーの長く複雑なプロセスにおける最終ステップである「なるほど！」という瞬間です。
十分なデータを使用して人工知能 (AI) モデルをトレーニングすると、AI 推論の精度と速度を向上させることができます。
たとえば、動物に関するデータ (その相違点や類似点から一般的な健康状態や行動まで) に基づいて AI モデルをトレーニングする場合、関連付けを行ってパターンを見出すには大量のデータセットが必要です。
トレーニングが適切に完了すると、モデルは犬種の特定や猫の鳴き声の認識といった推論だけでなく、びっくりして逃げ出した馬の周囲に警告を出すことも可能になります。モデルは抽象的なデータセットでしかこれらの動物を知らないにもかかわらず、トレーニングに使用された膨大なデータに基づき、新しい環境下でもリアルタイムで推論を行えます。
人間の脳も同様に、このような関連付けを行っています。私たちはさまざまな動物について、本や映画、オンライン上のリソースなどから情報を得ています。写真や動画を見たり、動物の鳴き声を聞いたりできます。動物園に行くと、「あれはバッファローだ」と推論できます。動物園に行くのが初めてでも、それまでの学習に基づき動物を識別できるのです。同じことが推論中の AI モデルにも当てはまります。
次のライブイベントでは、Red Hat AI の新機能や今後の展望についてご紹介します。次のライブセッションにご注目ください。
AI 推論が重要な理由
AI 推論は AI の運用フェーズであり、モデルはトレーニングで学んだことを現実世界の状況に適用できます。パターンを識別して結論を導き出す AI の能力は、他のテクノロジーとは一線を画すものです。AI の推論能力は、日常的な業務にも、非常に複雑なコンピュータ・プログラミングにも役立ちます。
しかし推論は、巨大化し続けるモデルからの大きなプレッシャーにさらされます。モデルが複雑になるほど、推論の速度は遅くなるのです。
推論を成功させるには、AI モデルが短時間で多くの計算を行う必要があります。そのため、モデルサイズ、ユーザー数の多さ、レイテンシーなどの要因によってパフォーマンスが制限される可能性があります。モデルがより多くのデータとメモリーを必要とする場合、ハードウェアとアクセラレーターはそのスピードに対応しきれなくなります。
つまり AI 戦略の成否は、推論機能をサポートするハードウェアとソフトウェアによって決まることになります。
Red Hat AI
AI 推論のユースケース
今日、企業は日常のさまざまなユースケースで AI 推論を使用できます。その例をいくつかご紹介します。
医療： AI 推論は、医療従事者が患者の病歴と現在のデータを比較するのに役立ち、パターンや異常を人間よりも迅速に検出できます。例として、脳スキャンにおける異常値や、不規則な心拍の発見などが挙げられます。これにより患者の健康を脅かす兆候を、より早い段階で迅速に検知できるようになります。
金融：銀行取引や信用に関する大量のデータセットでトレーニングされた AI 推論は、エラーや異常なデータをリアルタイムで特定し、不正行為を早期かつ迅速に発見できます。これにより、カスタマー・サービス・リソースの最適化や顧客プライバシーの保護、ブランドの評判を向上させるといったことが可能になります。
自動車： AI の導入が進む自動車業界では、自動運転車が私たちの運転方法を変えつつあります。AI 推論は、車両が A 地点から B 地点までの最も効率的なルートを選択したり、停止標識に接近した際にブレーキをかけたりするのに役立ち、いずれも車内の快適性や安全性の向上につながります。
AI 推論は他の多くの産業分野でも、独創的な方法による活用が進んでいます。たとえば、ファストフードのドライブスルー、動物病院、ホテルのコンシェルジュなどでも活用できます。多くの企業が、精度の向上、時間とコストの削減、競争力の維持などに、このテクノロジーを活用する方法を模索しています。
AI トレーニングとは
AI トレーニングとは、データを使用して、関連付けの方法やパターンの識別方法をモデルに教えるプロセスです。トレーニングはモデルに学習させるプロセスであり、推論は稼働している AI モデルによる動作です。
AI トレーニングの大半は、モデル構築の初期段階で行われます。トレーニングが完了すると、モデルはそれまで遭遇したことのないデータとの関連付けを行えるようになります。より大きなデータセットで AI モデルをトレーニングすると、より多くの関連性を学習して、より正確な推論を行うことができます。トレーニング後に、モデルが正確な推論を行うのに苦戦している場合は、ファインチューニングによって知識を追加し、精度を向上させることも可能です。
トレーニングや AI 推論は、証拠や論理的思考に基づいて結論を導き出すといった人間の能力を、AI が模倣するための方法です。
モデルのサイズなどの要因によって、モデルを操作するために必要なリソースの量は変動します。
AI 推論にはどのような種類があるか
AI 推論はその種類によって、サポート可能なユースケースが異なります。
- バッチ推論：バッチ推論という名称は、大量のデータをまとめて受け取り、処理することに由来します。この方法では、推論をリアルタイムで行うのではなく、データ量や AI モデルの効率性に応じて、1 時間ごと、あるいは 1 日ごとにデータを断続的に処理します。こうした推論は「オフライン推論」または「静的推論」とも呼ばれます。
オンライン推論：オンライン推論または「動的」推論は、回答をリアルタイムに提供できます。このタイプの推論には、レイテンシーの障壁を低減し、高速な予測をサポートできるハードウェアとソフトウェアが必要です。オンライン推論はエッジ、すなわちデータが存在する場所での AI 処理に役立ちます。具体的な場所としては、携帯電話、車内、接続が限られているリモートオフィスなどが挙げられます。
OpenAI の ChatGPT はオンライン推論の代表例であり、正確な回答を迅速に提供するために、事前に多くの運用サポートを必要とします。
- ストリーミング推論：ストリーミング推論とは、必ずしも人間とのコミュニケーションに使用されない AI システムを指します。モデルは、プロンプトやリクエストの代わりに、継続的にデータを受け取り、予測を行ったり、内部データベースを更新したりします。ストリーミング推論は、変化を監視したり、規則性を維持したり、問題を発生前に予測したりするのに役立ちます。
AI 推論サーバーとは
AI 推論サーバーとは、AI モデルをトレーニング段階から運用段階に前進させるのに役立つソフトウェアです。AI 推論サーバーは機械学習を使用して、モデルが学習した内容を実地に適用して推論を生成できるように支援します。
有効な結果を得るには、AI 推論サーバーと AI モデルに互換性が必要です。推論サーバーの種類と、それらに最適なモデルの例をご紹介します。
- マルチモーダル推論サーバー：この種の推論サーバーは、複数のモデルを同時にサポートできます。すなわち、コード、イメージ、またはテキスト形式でデータを受け取り、これらの異なる推論をすべて単一のサーバー上で実行できます。マルチモーダル推論サーバーでは、複数のモデルをサポートするために、GPU メモリと CPU メモリが効率的に使用されます。これにより、ハードウェアが効率化され、スケーリングが容易になり、コストが最適化されます。
- シングルモデル推論サーバー： この推論サーバーは、複数のモデルではなく、1 つのモデルのみをサポートします。AI 推論プロセスは、特定のユースケース向けにトレーニングされたモデルとの対話に特化されており、テキスト形式やコード形式など、特定の形式のデータのみを処理できます。このような特定のものに特化した推論サーバーは効率性に優れており、リアルタイムの意思決定やリソースの制約に役立ちます。
AI 推論の課題
AI 推論を実行する上で最大の課題となるのが、スケーリング、リソース、コストです。
- 複雑性：画像を生成したり、返品ポリシーを顧客に知らせたりといった、単純なタスクについてモデルをトレーニングするのは比較的容易です。一方、金融詐欺の検知や医療上の異常の特定など、より複雑なデータをモデルに学習させるためには、トレーニング中により多くのデータと、そのデータを支えるリソースが必要になります。
- リソース： より複雑なモデルでは、モデルによる推論の生成時に行われる膨大なデータ処理をサポートするために、専用のハードウェアおよびソフトウェアが必要になります。これらのリソースの中核となるコンポーネントが、中央処理装置 (CPU) メモリーです。CPU は、コンピュータのハブまたは制御センターとよく呼ばれます。モデルが、既知の情報 (トレーニングデータ) を使用して回答を生成する準備をする際には、CPU メモリー空間に保持されているデータを参照する必要があります。
- コスト： AI 推論に必要なこれらの要素は、いずれも安価ではありません。目指すゴールが規模の拡張であれ、最新の AI 対応ハードウェアへの移行であれ、その実現には膨大なリソースが必要になる可能性があります。モデルの複雑化とハードウェアの進化が進むにつれて、コストが急上昇し、組織が AI イノベーションについていくことが難しくなる可能性があります。
とりわけ vLLM と呼ばれる推論エンジンは、これらの課題を回避するのに役立ちます。GPU メモリーをより有効に利用することで、生成 AI アプリケーションの出力を高速化します。vLLM は、vLLM コミュニティによって維持されているオープンソースコードのライブラリです。vLLM は大規模言語モデル (LLM) がより効率的かつ大規模に計算を行う上で役立ちます。LLM Compressor などのツールを使用して推論を迅速化することで、チームやリソースにかかる負担を大きく軽減します。
vLLM が LLM による推論の高速化に役立つ仕組み
AI 推論は大量かつ非常に多様なユースケースで使用されています。しかし、LLM を一貫性を持って大規模にデプロイするには、多くのコンピューティングパワー、リソース、専門的な運用スキルが必要です。vLLM は、企業における AI 推論をサポートするために必要なハードウェアの使用を効率化することで、これらの課題を解決できます。そのため、vLLM はスピードに加えて柔軟性と制御性を必要とする業界にとって特に魅力的な選択肢となっています。
オープンソース・ソリューションである vLLM により、企業は次のことが可能になります。
- GPU を所有および管理する
- データを制御する。
- 最先端のモデルがリリースされたらすぐに試してみる。
vLLM は、NVIDIA GPU や AMD GPU、Google TPU、Intel Gaudi、AWS Neuron など、さまざまなハードウェアにデプロイできます。また、vLLM は特定のハードウェアに制限されるものではなく、クラウド、データセンター、エッジのいずれでも機能します。
著名な組織が効果的な拡張を実現するために vLLM を活用しています。以下の 3 つの実例で詳細をご確認ください。
MoE が LLM の推論を高速化する仕組み
レイテンシーやリソースの制約といった課題を克服するために、混合専門家 (MoE) は大規模な推論の高速化をサポートするニューラルネットワークを構築します。
MoE は、タスクをモデル内の最適な部分に振り分けて AI 推論を高速化するモデルアーキテクチャ手法です。
MoE の各モデルは、特定のサブカテゴリーで回答を迅速かつ高精度に提供できるよう特別にトレーニングされています。MoE は、その基盤となるニューラルネットワークやディープラーニング・アーキテクチャにおいて、スパース性などの技術を使用しています。これにより、LLM は大規模環境でも、より高速かつ高精度に動作できます。
分散推論とは
分散推論では、相互接続されたデバイスのグループに対して推論の労力が分割されるため、AI モデルでワークロードをより効率的に処理できます。これは、「人手が多ければ仕事は楽になる」ということわざどおりのソフトウェアです。
分散推論は、物理サーバーやクラウドサーバーなどからなる多数のハードウェアにリクエストを分割する仕組みをサポートします。分割後、各推論サーバーは割り当てられた部分を並行して処理し、出力を作成します。これにより、AI を活用した一貫性のあるスケーラブルなサービスを提供する、回復力と可観測性のあるシステムが実現します。
分散推論は vLLM でサポートされており、テンソル並列処理や混合専門家 (MOE) アーキテクチャなどの技術を使用します。
Red Hat のサポート内容
Red Hat® AI は、vLLM 搭載のサーバーを通じて、高速で柔軟かつ効率的な推論を行うように構築されています。モデルをデータと確実に接続し、専用エージェントのカスタマイズと開発を単一のプラットフォームで行うことができます。オープンソースを基盤として構築された当社の製品により、あらゆる規模で AI ワークフローをエンドツーエンドで完全に制御することができます。
Red Hat AI ポートフォリオには、Red Hat AI Inference が含まれています。これは、ハイブリッドクラウドのどこでも任意のアクセラレーター上であらゆるモデルを実行できるように運用制御を提供する推論スタックです。高速かつ効率的でコスト効率に優れた推論を大規模に行うことを可能にします。
Red Hat、Neural Magicの買収に関する正式契約を発表
Red Hatは、生成AIの推論ワークロードを高速化するソフトウェアとアルゴリズムのパイオニアである Neural Magic の買収に関する正式契約を締結したことを発表しました。
