説明可能な AI とは

説明可能な AI (XAI) とは、機械学習 (ML) ライフサイクル中に適用される技法であり、その目標は、AI による出力を人間にとってより理解しやすく透明性の高いものにすることです。理想的には、XAI は次のような質問への答えを提供します。

• モデルがなぜそのようにふるまったのか。
• なぜ他の方法を取らなかったのか。
• モデルが成功したのはどのようなときか。
• モデルが失敗したのはどのようなときか。
• モデルの出力を信頼できるのはどのようなときか。
• エラーを修正するにはどうすればよいか。

説明可能な AI は、その能力と理解を実証、つまり過去のアクション、進行中のプロセス、今後の手順を説明し、そのアクションの根拠となる関連情報を提示できる必要があります。端的に言うと、説明可能な AI は、AI システムに「作業内容を示す」よう促します。

Red Hat AI の詳細

意思決定を行うために AI システムを利用する企業はますます増えています。たとえば医療では、画像分析や医療診断に AI を使用することがあります。金融サービスでは、融資の承認や投資の自動化に AI を使用する場合があります。

AI による決定は、人々や環境、システムに影響を及ぼし、リスクをもたらす可能性があります。人間と AI システム間の信頼を築くために不可欠なのは、透明性と説明責任です。一方、理解不足は混乱や誤りを招き、場合によっては法的なペナルティにつながる可能性があります。

透明性と説明可能性を優先することで、技術的に高度なだけでなく、安全で公平、かつ人間の価値観やニーズに合った AI を構築できます。 

解釈可能性と説明可能性

XAI のコンテキストでは、説明可能性と解釈可能性が同じ意味で使用されることが多く、混乱を招く場合があります。 

解釈可能性とは、人間がモデルの内部ロジックを理解できる程度を指します。解釈可能性はモデルの状態に関係し、理解できる程度の違いとして捉えられます。解釈可能性が高いモデルは、本質的に理解可能な機能を備えています。つまり、専門家でなくても入力と出力の関係を理解できるということです。解釈可能性が低いモデルは、人間が理解するには内部の仕組みが複雑すぎる、ということになります。

説明可能性は、根拠または説明を生成するプロセスを表します。説明可能性は、複雑なモデルに一連の技法 (XAI 技法) を適用して、特定の決定がどのように、なぜ行われたかを明らかにすることで達成できます。モデルのロジックが複雑すぎてそのままでは解釈できない場合は、XAI 技法を使用すると、モデルがそのように動作した理由をより深く理解できるようになります。 

解釈可能性が高く十分な透明性が得られている場合は、基本的に外部への説明可能性は必要ありません。解釈可能性が低い (つまり、本質的な透明性が欠如している) 場合、モデルに対する信頼と理解を確立するには外部への説明可能性が必要になります。

機械学習は、AI アプリケーションのコアテクノロジーであり、コンピュータがアルゴリズムを使用してデータから学習し、モデルを作成するプロセスです。機械 (コンピュータ) がデータとアルゴリズムを使用して学習する際に、データサイエンティストは 1 つまたは複数のトレーニング手法を選択してモデルの作成をサポートします。 

モデルのトレーニング方法

機械学習モデルを作成するには、次の 3 つが必要です。 

1.データ

これには、数値、テキスト、音声ファイル、動画クリップ、画像などが含まれます。必要なデータの量は、解決しようとしている問題の複雑さ、データの品質、選択したアルゴリズムの複雑さによって異なります。 

線形回帰のような単純なアルゴリズム (散布図上のデータ内で直線を見つけることを目的とする) を選択した場合は、データポイントは数十個あれば十分なこともあります。ニューラルネットワークのような複雑なアルゴリズムを選択した場合は、数百万から数十億のデータポイントが必要になります。 

2.アルゴリズム

アルゴリズムとは、コンピュータが学習する際に使用するレシピあるいは公式です。アルゴリズムは適切に定義される必要があり、明確な停止点がなければなりません。ML アルゴリズムの主な目的は、データ内のパターンを見つけて、各タスクを明示的にプログラムしなくてもマシンが決定を下せるようにすることです。

決定木などの一部のアルゴリズムは、追跡可能でわかりやすい出力を生成するように設計されています。決定木はフローチャートのようなものと捉えることができます。簡単に理解でき、必要に応じて修正できます。 

そして、ランダムフォレスト・アルゴリズムというものがあります。このアルゴリズムでは、数百の決定木をトレーニングし、各決定木に「投票」を依頼して最終的な出力を作成します。数百ものフローチャートのロジックを人間が追跡することはできないため、このアルゴリズムを理解することはほぼ不可能になります。

3.トレーニング手法

これは、データサイエンティストがコンピュータの学習プロセスを設計、実装、ファインチューニングするときに使用する手法を指します。トレーニングと呼ばれるこの学習プロセスでは、次のような方法が使用されます。

• 教師あり学習：モデルに、すべての入力データに正解のラベルが付けられているデータセットを与えます。モデルがやるべき作業は、入力データと正解のラベルの関係を学習することです。教師あり学習は、将来起こることを予測できるようになるためのトレーニングです。
  • たとえば、モデルに馬と熊の写真 10 万枚を与え、それぞれの写真に「馬」または「熊」と正しくラベルを付けます。モデルはパターンを学習し、最終的には新しい写真に正しくラベルを付けられるようになります。
• 教師なし学習：ラベル付けされたデータが含まれていないデータセットをモデルに提供します。モデルがやるべき作業は、データ内のパターンや関連性を独自に見つけることです。教師なし学習は、存在するパターンを発見するのに役立ちます。
  • たとえば、顧客のショッピング行動に関するデータをモデルに提供します。モデルは、ドッグフードを購入する買い物客が 60% の確率でウォーキングシューズを購入することを発見する、といった可能性があります。
• 強化学習：モデルに目標と一連のルールを与えますが、ラベル付けされたデータは与えません。モデルがやるべき作業は、相互作用を通じてそのアクションに対する「報酬」や「ペナルティ」を受けながら学習することです。強化学習は、次に取るべきアクションに関する提案を行えるようになるためのトレーニングです。
  • たとえば、モデルに何百万回もプレイすることでチェスを学習させます。勝ちにつながる動きに対しては「報酬」が与えられ、負けにつながる動きに対しては「ペナルティ」が与えられます。このプロセスは、モデルがチェスのプレイ方法を「学習」するのに役立ちます。

機械にデータを与え、アルゴリズムとトレーニング手法を適用すると、モデルが誕生します。 

ニューラルネットワークに関するメモ

ニューラルネットワークは、上記とは別のタイプの機械学習アルゴリズムです。人間の脳にヒントを得ており、ニューロンと呼ばれる相互接続されたノードのさまざまなレイヤーを介してデータを渡します。データが各レイヤーを通過するときに、異なる「重み」が割り当てられ、最終出力になる前に次のレイヤー (そしてその次のレイヤー、さらにまたその次のレイヤー) をどのように通過するかが決まります。 

ニューラルネットワークには、入力レイヤーと出力レイヤーが含まれる傾向があります。時には、隠れたレイヤーが存在することもあります。隠れたレイヤーがあると、モデルの透明性が低下する可能性があります。隠れたレイヤーが大きい場合や、そのようなレイヤーがモデルに多数ある場合はなおさら低下します。ニューラルネットワークに複数の隠れたレイヤーがある場合、それはディープ・ニューラルネットワークとして分類され、それをトレーニングするために使用される手法はディープラーニングと呼ばれます。 

しかし、隠れたレイヤーはどのようにして作成されるのでしょうか？ 

隠れたレイヤーは、機械が独自の思考を作り出すということではありません。データサイエンティストがマシンに、事前設計されたレイヤー内で独自の接続を作成するよう指示したときに発生します。その学習済みの最終的なロジックは、人間が理解するには複雑すぎるものとなります。

ブラックボックスとは、理解するには複雑すぎる AIモデルや、作業内容が見えない AI モデルを指します。そのようなモデルでは、データサイエンティストやアルゴリズムを作成したエンジニアでさえも、モデルが特定の出力にどのようにして至ったかを誰も正確に説明できません。

たとえば、ChatGPT を動かすニューラルネットワークの 1 つである GPT4 は、単語 1 つを生成するために 3 兆回を超える数学的計算を実行します。この計算を手作業で確認する場合、1 秒あたり 1 回の計算を実行できるとして、1 つの単語を生成するには 95 年もかかります。このようなケースでは、出力が正しいことは確認できますが、作業を確認することはほぼ不可能です。 

ブラックボックスモデルには解釈可能性がないため、特に医療、輸送、セキュリティ、軍事、法務、航空宇宙、刑事司法、金融などの高リスクの業界では、重要な意思決定に使用すると有害な結論が導かれかねません。 

説明可能な AI は、ブラックボックスの内部を調べる方法と考えることができます。 

ブラックボックスモデルはすべて有害か？

ブラックボックスシステムは解明不能ですが、そのような性質は本質的に有害なものではありません。しかし、これらのシステムは重大な状況で使用されると大きなリスクをもたらす可能性があります。ブラックボックス AI システムでは、次のような結果が生じる可能性があります。

偏見と差別。 AI システムが本質的に偏ったデータでトレーニングされると、そのパターンが繰り返される可能性が高くなります。ある企業の過去 20 年間の「成功した」幹部採用に基づいてトレーニングされた採用ツールを考えてみましょう。この幹部のグループ全体が主に男性だった場合、システムは女性の名前を含む履歴書をペナルティの対象とするよう学習する可能性があります。

説明責任の欠如。ブラックボックスシステムが判断を誤った場合、システムのロジックパターンを追跡する方法はありません。これにより、たとえばブラックボックスシステムを採用した医療機器や自動運転車が誤診や事故を引き起こし、誰かが被害に遭った場合、誰が (あるいは何が) 責任を負うのかを判断するうえで法的な複雑さが生じる可能性があります。

開発者が AI システムの内部の仕組みを理解できない場合、その修正や改善は非常に困難になります。ロジックが隠れていると、システムに対する信頼を築くのは難しくなります。

ブラックボックスとホワイトボックス

ブラックボックスの反対はホワイトボックスです。ホワイトボックスはガラスボックスとも呼ばれ、内部の仕組みが透明なモデルを指します。これは、入力から出力までの意思決定プロセス全体を人間が追跡できることを意味します。解釈可能性の概念を思い出してください。ホワイトボックスは解釈可能なモデルですが、ブラックボックスには説明可能性が必要です。 

ホワイトボックスモデルが存在するのに、なぜブラックボックスモデルを作成するのでしょうか？それは、パワーとパフォーマンスが理由です。ホワイトボックスモデルの解釈が容易なのは、内部の処理がそれほど複雑ではないからです。その結果、そうしたモデルはサイズが小さく、必要な計算容量と計算能力も低い傾向があります。 

ホワイトボックスモデルが目的の出力を作成できるほど強力でも正確でもない場合、データサイエンティストはブラックボックス・ソリューションに頼ることになります。たとえば、生成 AI のように、複雑で微妙かつ入り組んだ主題についてモデルをトレーニングする場合などがこれに当たります。 

説明可能な AI の場合、ユーザーは AI システムがどのように出力を導き出したのかを理解できます。これにより、次のようなメリットが得られます。

信頼性の向上。エージェント型 AI のようなテクノロジーの実装を成功させるには、アルゴリズムと人間の間に信頼関係がなければなりません。説明可能な AI の主な目的は、ユーザーが AI アプリケーションの結果を信頼できるようにすることです。 

リスクの低減。 説明可能な AI によってモデルを適切に評価できるようになるため、どのモデルがニーズに最も適しているかについて、より多くの情報に基づいて決定を下すことができます。 

コラボレーションの向上。 説明可能なモデルを持つことは、部門横断的なチームの連携に役立ちます。病院環境で機械学習モデルを展開する際のデータサイエンティストと臨床医の関係を考えてみましょう。モデルは患者が敗血症のリスクが高いと予測し、XAI はこの予測につながる主な要因として心拍数の上昇、血圧の低下、酸素飽和度の低下を示します。臨床医はこれを理解し、検証して、モデルが医学的に正しいアドバイスに基づいていることを確認できます。 

トラブルシューティングの迅速化。 モデルが出力を作成する際のロジックをデータサイエンティストが理解できれば、人間参加型 (HITL：ヒューマンインザループ) の開発、デバッグ、意思決定がより容易かつ迅速になります。注意が必要なのは、XAI によってコンピュータの速度が上がるわけではなく、実際には計算オーバーヘッドが増えるということです。ただし、人間の時間は節約されます。 

法令順守の向上。説明可能な AI は、企業が規制やプライバシー法を順守するのに役立ちます。そのような法律には、欧州連合の一般データ保護規則 (GDPR) などがあります。これは個人に対して、自動化された意思決定に関わるロジックを知る権利、および「データ主体にとってのそのような処理の重要性と想定される結果」を知る権利を付与するものです。XAI は特定の結果に影響を与えたデータポイントと要因を詳細に説明します。これが意思決定を説明するのに役立ちます。 

カリフォルニア州の Transparency in Frontier Artificial Intelligence Act (TFAIA) は、開発者に対し、モデルのリスクと導入したリスク軽減策に関する透明性レポートを公開することを義務付けています。XAI は、組織がこうしたリスクをより簡単に特定するのに役立ちます。 

モデルのドリフトの削減。モデルのパフォーマンスはドリフト (新しいデータが入ってくることによる経時的な劣化) が発生する可能性があります 。XAI では、モデルの分析、およびモデルのドリフトが発生したり出力が意図したものから逸脱したりした場合にアラートを生成させることが可能です。 

説明可能な AI の分野は、急速に進歩する AI のペースに合わせて継続的に成長しています。XAI の実装は必要ですが、このソリューションは完璧ではありません。留意すべき制限事項は次のとおりです。

出力の技術的な複雑さ。 現在の XAI の手法はきわめて技術的であり、一般ユーザーではなく ML エキスパート向けです。この問題に対処するには、より専門的な教育とトレーニングを行うか、複雑な問題を一般の人にもわかる言葉で説明するかのいずれかが必要です。 

計算コストが高い。 XAI 技法の実行には多くのコストがかかります。特定の出力をモデルが作成した理由を理解するために、説明のためのアルゴリズムが広範な計算を実行する必要があるからです。単一の予測がどのように行われたかを理解するためだけに、モデルを何千回も実行することが必要な場合もあります。 

セキュリティリスク。 モデルを理解するためにブラックボックスを開くと、モデルを悪用する方法がさらされてしまうリスクがあります。これによって脆弱性が生じる可能性があり、悪意のある人物がシステムを不正操作して、セキュリティを侵害する方法をリバースエンジニアリングすることが可能になる場合があります。 

理解と信頼 

プロセスがどのように機能するかを理解することは、プロセスを信頼することと同じではありません。スケートボードの仕組みは理解できても、だからと言って信頼してスケートボードに乗れるかというと、そんなことはありません。 

信頼というテーマは、AI を過度に信頼することは有害ではないのか、という疑問を投げかけます。そうした疑問を持つことは健全なことであり、システムを過度に信頼したことにより予期しないミスに遭遇する可能性があります。しかし、それと同時に、システムを十分に信頼していないと、そのシステムがもたらすメリットを逃してしまう可能性があります。 

説明可能な AI は、ユーザーが信頼レベルを調整できるように支援することを目的としています。役立つコンテキストを XAI が提供すれば、ユーザーはシステムをどの程度信頼するかを自分で判断できます。

XAI を実装するには、初期設計から監視まで、機械学習のライフサイクル全体の透明性を高める必要があります。単一の方法で ML または AI アルゴリズムの出力を説明することはできません。モデルの構築方法によって、またエンドユーザーが誰であるかによってアプローチは異なります。考慮すべき要素には次のようなものがあります。

グローバル XAI モデルとローカル XAI モデル：どのようなレベルの説明が必要か？

• グローバルな説明とは、意思決定のためにモデルが使用する一般的なパターンを概要レベルで理解できるよう説明するものです。たとえば、ローンの承認を予測するモデルにおいて、グローバルな説明は「モデルはクレジットスコアの高い候補者の受け入れを優先します」などとなります。
• ローカルな説明とは、モデルによる単一の決定に影響を与えた要因を詳細に説明するものです。たとえば、同じローン承認モデルをローカルな説明にすると、次のようになります。「ジョン・スミスは、クレジットスコアが 520 で、収入が基準値の 35,000 ドルを下回っていたため、11 月 19 日にローンが拒否されました」。

直接 XAI モデルと事後 XAI モデル：モデルはどのように説明を提供する設計になっているか？

• 直接モデルは、ホワイトボックスモデルと同様に、透明性のある追跡可能な結果を​​最初から生成します。
• 事後モデルはブラックボックスモデルであるため、元々は解釈できるように設計されていなかったものの、トレーニングが完了した後にアルゴリズムを適用することで、それらがどのように機能するかについてのインサイトを得ることができます。このアルゴリズムは、出力を分析して説明を生成するのに役立ちます。
  • LIME (Local Interpretable Model-agnostic Explains) は、入力データを操作して、一連のわずかに異なる人工データを作成する手法です。LIME は、その人工データをモデルに実行して出力を観察し、ブラックボックスモデルの元の予測を説明するのに役立つ解釈可能な「代理」モデルを作成します。
  • SHAP (SHapley Additive exPlanations) は、各入力変数の貢献度を計算し、可能な変数の組み合わせのすべてを考慮する、協力ゲーム理論に基づく手法です。各変数がモデルの出力にどのように貢献しているか、どの変数が予測を推進しているかを表す統一ビューを提供します。

データモデルとモデル XAI モデル：どのような種類の説明が必要か？

• データモデルは、入力データが予測にどのように影響しているかに基づいて説明を提供します。
• モデル XAI モデルは、モデルの内部動作に基づいて説明を提供します。

社会に利益をもたらす、責任ある AI システムを促進するためには、倫理ガイドライン、透明性、バイアス緩和などの責任ある AI プラクティスが不可欠です。 

Red Hat® AI は、AI イノベーションを加速させ、ハイブリッドクラウド環境全体で AI ソリューションの開発と提供における運用コストを削減するプラットフォームです。 

Red Hat AI は、オープンソース・テクノロジーを使用して大規模なエンタープライズ AI の課題に対処します。これは、説明可能性、AI ガバナンス、信頼性、AI ガードレール、バイアスとドリフトの検出、バージョン管理を実装するためのサポートとツールをお客様に提供することを意味します。

これらの機能を提供するために、Red Hat AI は、ユーザーが AI モデルのライフサイクル全体を監視および管理できるツールを統合しています。その機能の一部は、Red Hat が貢献している責任ある AI テクノロジーのオープンソース・ツールキットである TrustyAI によって実現しています。