AgentOps とは

AgentOps (エージェント・オペレーション) は、AI がリアルタイムで意思決定を行う際、その「頭脳」を監視するためのツールのフレームワークです。自律型 AI の「従業員」に関するパラメーターを管理、設定するための仕組みだと考えるとわかりやすいでしょう。 これにより、タスクを与えられたエージェントは、設定された予算を超えることなく、効率的かつ安全にそのタスクを完了できるようになります。 

Red Hat AI の詳細

エージェントの行動は非決定的です。つまり、一連のランダムな確率分布によって決定されます。そのため、エージェントのアクションを正確に予測することはできません。この予測不可能性が、問題解決のための創造的な方法をエージェントが見つけ出すのに役立ちます。しかし本番環境では、説明可能性を伴わない自律性はリスクになりかねません。そのリスクの軽減に役立つのが AgentOps です。 

エージェント型 AI は、人間の介入を最小限に抑えながらデータやツールと対話するように設計されたソフトウェアシステムです。エージェント型 AI では目標指向の動作に重点が置かれており、手順のリストを作成してそれを自律的に実行することでタスクを達成します。

エージェント型 AI は、自動化に大規模言語モデル (LLM) のクリエイティブな能力を組み合わせる方法です。エージェント型 AI を実際に稼働させるには、LLM が外部ツールにアクセスできるようにし、それらのツールをどのように使用すべきかを AI エージェントに指示するアルゴリズムを用意します。

AI エージェントとエージェント型 AI

AI エージェントとエージェント型 AI の違いは何でしょうか。AI エージェントは名詞 (「私は 3 つのエージェントを構築している」) であり、エージェント型 AI は説明的な表現 (「私たちのソフトウェアをよりエージェント型にする必要がある」) です。

AI エージェントとは、エージェントシステム内で動作し、役割を果たすように構築されたソフトウェア・エンティティです。エージェント型 AI とは、人間による限られた指示により、目標に向けて計画を立て、意思決定を行い、アクションを起こすことができるシステムを表す言葉です。エージェント型 AI とはシステムが「行動する」という特性を指します。

AgentOps は、AI エージェントとエージェント型 AI の両方に、それぞれ異なる方法でサービスを提供します。 

AI エージェントに対し、AgentOps は次のように役立ちます。

• ID およびバージョン管理：エージェントのペルソナや能力の違いを追跡します。
• ツール管理：どのエージェントがどのアプリケーション・プログラミング・インタフェース (API) およびデータベースにアクセスできるかを監視します。
• コストとリソースの追跡： エージェント A がエージェント B と比べてどれだけお金を使っているかを追跡します。

エージェント型 AI に対し、AgentOps は次のように役立ちます。

• トレーサビリティ： 「思考ツリー」、つまり推論の過程を追跡することで、AI がなぜそのような行動をとったのかを人間が理解できるようにします (たとえば、AI がステップ 2 の前にステップ 3 を実行した理由など)。
• 成功率： 作成したエージェントシステム全体の成功率を測定します。
• ハルシネーションの検出： エージェントが誤った行動を起こして多くのリソースを費やす前に、リアルタイムでエラーを検出します。

AI エージェントおよびエージェント型ワークフローがどこまで自律性を持つかは、プログラムで決まります。どのレベルのエージェント自律性を持つワークフローであるかにかかわらず、AgentOps は信頼性と監視のために重要です。 

エージェント型ワークフローは問題を創造的に解決するのに役立ちますが、システムが暴走しないようにその創造性を管理する必要があります。AgentOps は、エージェントシステムを監視、評価、管理、最適化することで、エージェント型 AI のリスクを軽減するのに役立ちます。

可観測性

エージェントは、思考・行動・観察のループの中で「理性」の感覚を生み出します。このプロセスでエラーが発生すると、タスク全体が軌道から外れる可能性があります。エージェントが予期しない動作をした場合、そのロジックを検証してエラー箇所を特定する必要があります。AgentOps は、誤った判断の根本原因を人間が把握できるように、追跡可能な推論プロセスを提供します。 

リアルタイムの評価

セカンダリエージェントを (AgentOps プロセスを介して) 設定し、メインエージェントの動作を監視させることができます。この監視エージェントは、メインエージェントがハルシネーションを起こしている、あるいは目標から逸脱していると認識した場合、システムを一時停止したり、人間の介入が必要な状態であることを知らせたりします。 

ガバナンス

エージェントにタスクを委任する際には、一定のガードレールを設ける必要があります。ガードレールとは、AI システムを定められた範囲内で動作させるための防壁です。AgentOps 使用すると、ヒューマン・イン・ザ・ループ (HITL) チェックポイントを実装し、エージェントが人間の承認なしに重大な操作 (ファイルの削除や金銭の支払いなど) を実行できないようにすることができます。 

コストの最適化

AgentOps では、エージェントに非効率がないかを判断するための詳細なログを取得できます。たとえば、エージェントがコストのかかりすぎるモデルを選んでしまったり、複雑すぎる方法で問題を解決しようとしてリソースを過剰に消費したりしてしまう可能性があります。 

AgentOps では、次のような指示を付けてシステムをセットアップできます。

• 「費用が 5 ドルを超える場合はそのタスクを中止すること」
• 「完了までのステップが 20 を超える場合はそのタスクを中止すること」
• 「‘delete' コマンドをブロックすること」

AgentOps は、ソブリン AI 運用の実装を目指す人々にとって重要な要素です。ソブリン AI とは、テクノロジーを所有し、データをローカルに保ち、AI システムが組織の価値観を反映しつつ法的要件にも準拠できるようにすることです。

AgentOps はシステムに関する透明性を提供するので、法的観点からも重要です。「AI がそう判断したから」という弁護は法廷では通用しません。 

私たちは、AI を質問に答えるためのツールとして使う段階から、文脈を理解するシステムとして使う段階へと移行しつつあります。そのため組織は、AI エージェントが企業データのコレクション全体を安全に扱えるようにするために、セマンティックレイヤーとモデルコンテキストプロトコル (MCP) ゲートウェイを作成する必要があります。AgentOps はこれを、次のようにサポートします。

• ハードウェアリソースの使用状況の追跡
• ハルシネーション発生率の監視
• データ暗号化の維持
• エージェントが行った操作に関する監査可能なログの提供
• ポリシー違反が発生した際の該当プロセスの終了

ソブリン AI システムにおいて、AgentOps は意思決定、データフロー、ツール間の相互作用に関する検証可能な記録を提供することにより、システムの動作をより深く理解できるようにします。 

完全なエージェント型のエージェントは、自ら意思決定を行い、自らツールを選択し、自らエラーを修正します。これには多くの複雑な意思決定が伴うため、「ブラックボックス」の問題が生じます。 

ブラックボックスとは、人間が理解するには複雑すぎる、または動作過程を示さない、あるいはその両方の AI モデルを指します。そのようなモデルでは、データサイエンティストやアルゴリズムを作成したエンジニアでさえも、モデルが特定の出力にどのようにして至ったかを誰も正確に説明できません。ブラックボックスの問題を解決するには、説明可能な AI が必要です。 

説明可能な AI とは、AI の動作を人間が理解できるようにすることを目的とした理念および一連の実践方法です。AgentOps はこれを実現するためのツールキットとなります。 

AgentOps は、AI エージェントが行ったすべての推論ループ、ツール呼び出し、観察を時系列のマップとして提示できます。これは、なぜエージェントが他のツールではなくそのツールを選択したのかを理解するのに役立ちます。また、エージェントが間違いを犯した場合の修正手段として、強化学習を通じて人間がフィードバックを提供する際にも役立ちます。 

たとえば、AgentOps は、エージェントがタスクを実行した理由を人間が読み取れるインタフェースを提供することができます。それを利用することで、エージェントに「ステップ 3 の判断は良くなかった。高価すぎるモデルを使用している」と伝えることができます。 

「XXOps」には DevOps、AIOps、MLOps、LLMOps などがありますが、AgentOps はそこに加わる新たな手法です。では、さまざまな種類の Ops の定義と、それらがどのように連携して機能するかを見ていきましょう。

• DevOps は、他のすべての Ops の起源です。DevOps とは、あらゆるソフトウェアが確実に構築、テスト、デプロイされるようにすることを目的とした一連の実践手法です。DevOps の目標は、ソフトウェアの提供速度を向上させることです。
• AIOps (IT 運用のための AI) とは、AI を DevOps に適用する手法です。AIOps の目標は、AI を活用して IT 運用を自動化し、バグが発生する前に未然に防ぐことです。これはサーバーを監視し、クラッシュを防ぐのに役立ちます。
• MLOps (機械学習運用) とは、機械学習モデルのライフサイクルを管理することです。MLOps の目標は、新しいデータが入ってきてもモデルの精度が低下しないようにすることです。
• LLMOps (大規模言語モデル運用) は MLOps のサブセットであり、特に LLM (大規模言語モデル) の管理を目的としています。LLMOps の目標は、プロンプトを管理し、ハルシネーションを減らし、API 呼び出しのコストを削減することです。 

Red Hat による AIOps について読む

これらすべてと AgentOps の関係 

AgentOps を使用して信頼性の高いビジネス製品を運用するには、LLMOps と DevOps がすでに導入されている必要があります。AIOps や MLOps も役立つ場合があります。それらがどのように連携して機能するのかを見ていきましょう。

• DevOps：エージェントを作成するにはコードが必要です。そのコードは、信頼性が高くスケーラブルな方法で、サーバーを介して処理および送信する必要があります。それを実現するのが DevOps です。
• LLMOps：LLMOps はユーザーのプロンプトのロジックを処理し、エージェントがそれをアクション計画に変換するのを支援します。
• MLOps：MLOps は、エージェントがアクセスする機械学習モデルの精度を保証します。たとえば、モデルを最新のデータで自動的に更新し、エージェントが古いバージョンではなくこの更新されたモデルを呼び出すようにします。
• AIOps：サーバーがクラッシュした場合、1,000 件ものアラートが発生する可能性があります。AIOps は、これらのアラートがすべて同じイベントから発生したものであることを認識し、人間に対して「重大なインシデント」アラートを 1 つだけ表示することができます。これはより効率的であり、混乱も軽減されます。

AgentOps は、運用基盤から安全対策、高度なスケーリングに至るまで、エージェント・ワークフローのすべての段階に適用する必要があります。

運用基盤から構築していくことが重要です。これは、以下のシステムを確実に実装するということです。

標準化されたプロトコル

エージェントがデジタルエコシステム内でインタラクションを実行するためには、エージェントとそれが使用するツール間で共通の言語が必要です。MCP は、AI アプリケーションと外部サービス間の双方向接続を可能にし、標準化された通信形式を提供します。MCP などの標準化されたプロトコルがなければ、エージェント型 AI は思考や計画はできても外部システムと連携することはできません。 

エラー処理メカニズム

エージェント型ワークフローを扱う際には、不安定性や能力不足を考慮することが重要です。これは、エラーが発生した場合に対処できる保険のような仕組みをシステム内に構築することを意味します。たとえば自動車事故に備えてエアバッグを装備しておくのと同様です。これらは「自己修復能力」と呼ばれることもあります。 

• 再試行ロジック：エージェントが使用するシステム内の要素で一時的な障害が発生し、不安定な状態になることがあります。そのような場合に、ワークフロー全体を停止させるのではなく、再試行ロジックを構築しておくと有効な防御策となります。これを行うには、推論の無限ループ (とそれに伴う高額な請求) を回避するために、どのように進め、自己修正していくべきかについての指示を作成します。
• モデルのフォールバック：メインモデルが機能しなくなったり、コストがかかりすぎたりする場合に、セカンダリモデルに引き継ぐことができます。たとえば、エージェントが OpenAI を使用している場合、OpenAI がダウンしたときには Llama 3 などのローカルモデルに切り替えさせます。 

ツールのカードレール

エラー処理メカニズムが、衝突時に膨らむエアバッグだとすれば、ツールのガードレールは衝突そのものを防ぐことを目的としたブレーキです。ガードレールとして、たとえば人間が承認した場合にのみファイルを削除するといった、エージェントが従うべきルールを設定します。

コンプライアンスとガバナンス

ガバナンスとコンプライアンスを通じて、エージェントのすべてのアクションを記録し、説明責任を果たすことができます。これは、一般データ保護規則 (GDPR) や Health Insurance Portability and Accountability Act (HIPAA) など、プライバシーに関する法律を厳格に遵守する必要がある分野において特に重要です。

メモリーの最適化 

会話履歴が長すぎると、エージェントは「混乱」してしまう可能性があります。エージェントのコンテキストウィンドウがオーバーフローして指示忘れが引き起こされ、ハルシネーションや、目標達成能力の低下につながります。vLLM を使用するとメモリーを最適化できます。vLLM はメモリー管理手法の PagedAttention を利用して、エージェント型システムが長いコンテキスト履歴を効率的かつ大規模に処理できるようにします。vLLM は複雑さが増しても高いパフォーマンスを維持できるため、エージェント型のワークフローに特に有効です。

vLLM の詳細はこちら

マルチエージェント・コラボレーション・フレームワーク

マルチエージェント・コラボレーションとは、複数の独立した LLM にそれぞれ異なる役割、メモリー、ツールを割り当てる手法です。たとえば、1 つのエージェントを「研究担当」、別のエージェントを「構築担当」とし、それらの間でメッセージをやり取りして最終的な出力を作成させます。マルチエージェント・コラボレーションの目標は、エージェントが協力したり相互に批評したりする体制を作ることで、単一モデルの限界を克服することです。 

自律性のジレンマ

自律性は、素晴らしい結果をもたらすこともあれば、混乱を招くこともあります。エージェントに与える自律性の適切なレベルを見つけ出すのは難しく、適切なバランスを作り出すためには多くの時間をかけてガードレールを調整しなければなりません。開発者はこれに対処するために、エージェントが承認された範囲内でのみ動作するようヒューマン・イン・ザ・ループ・チェックポイントを実装する必要があります。
 

倫理およびコンプライアンスに関する問題

エージェントは目標の達成を最優先とするので、目標までの近道を「創造的に」選択する可能性があります。たとえば、契約を成立させるために、許可されていない割引を顧客に提供することもあり得ます。これは公正貸付法や社内規定に違反する可能性があります。この問題を解決するには、エージェントのアクションを法的基準および会社基準に準拠させるための、ポリシー執行の仕組みと監査が必要になります。 
 

プライバシーに関する懸念

エージェントは多くのデータソースにアクセスできるため、意図せず機密情報や個人情報を、アクセス権限のない人物に共有してしまうリスクがあります。これは、禁止行為リストを作成することで防げます。 
 

予期しないコスト

エージェントはループ (思考・行動・観察) を通じて動作しますが、このループは簡単に (そして費用のかかる) 悪循環に陥る可能性があります。リソースの過剰消費を回避するために、事前に予算の上限やセーフティネットを設けることが重要です。 
 

スケーラビリティ

1 台のノートパソコンで 1 つのエージェントを実行することと、1,000 個のエージェントで同時に 1,000 個のワークフローを実行することは、状況がまったく異なります。分散推論、llm-d、vLLM などのツールを使用すれば、エージェント群を実行するために必要な膨大なメモリーと計算要件を管理しやすくなります。 

企業が AgentOps をワークフロー管理に活用できる方法の例をいくつかご紹介します。

財務処理の監視機能

エージェントを 1 つのチームとして毎日数千件の取引を監視し、不正行為や規約違反を検出します。エージェントはデータを取り込み、社内ポリシーと照合し、疑わしいアクティビティを特定した場合は人間に報告し、確認できるようにします。 

ヘルプデスクの自律型ヘルパー

エージェントに、サンドボックス環境でコードをテストおよび修正する機能を与えます。作業依頼が提出されると、エージェントがサンドボックス環境でバグを再現し、修正案を作成し、テストを実行します。問題の適切な修正方法を見つけたら人間に通知し、人間がその内容を確認および承認します。

サプライチェーンのスーパーバイザー

エージェント型のシステムに、世界の気象状況、配送のストライキ、港湾の混雑状況を監視させます。天候が乱れるときにはチームに警告し、ルート変更にかかる費用を計算し、変更案を提示します。 

Red Hat® AI は、専用の AgentOps コントロールプレーンを通じて、エージェントのライフサイクル全体を運用化します。これにより、ハイブリッドクラウド環境全体にわたって、すべてのデプロイメントが保護され、監視可能かつ効率的であることが保証されます。 

このプラットフォームは、安全のための統合されたガードレールを通じて、エンタープライズグレードのガバナンスを提供します。その基盤となるインフラストラクチャは vLLM と llm-d を使用して高性能な分散推論を行うことができるため、リソースを大量に消費するワークフローをオンプレミス環境からエッジ環境まで拡張できます。

Red Hat® AI は、vLLM 搭載のサーバーを通じて、高速で柔軟かつ効率的な推論を行います。モデルをデータと確実に接続し、専用エージェントのカスタマイズと開発を単一のプラットフォームで行うことができます。オープンソースを基盤として構築された当社の AI 製品により、あらゆる規模で AI ワークフローをエンドツーエンドで完全に制御することができます。