설명 가능한 AI란?

설명 가능한 AI(XAI)는 사람이 더 잘 이해할 수 있고 투명한 AI 출력을 만들려는 목적으로 머신 러닝(ML) 라이프사이클 중에 적용되는 일련의 기술입니다. 이상적으로 XAI는 다음과 같은 질문에 답변합니다.

• 모델이 그렇게 한 이유는?
• 다른 결정을 하지 않은 이유는?
• 어떤 경우에 모델이 성공적이었는가?
• 어떤 경우에 모델이 실패했는가?
• 어떤 경우에 모델의 출력을 신뢰할 수 있는가?
• 사용자는 오류를 어떻게 수정할 수 있는가?

설명 가능한 AI는 자체 역량과 이해도를 입증하고, 과거 작업과 현재 진행 중인 프로세스 및 이후 단계를 설명하고, 작업의 기반이 되는 관련 정보를 인용할 수 있어야 합니다. 다시 말해서, 설명 가능한 AI는 AI 시스템이 '자신의 작업을 입증하도록' 촉진합니다.

Red Hat AI 살펴보기

비즈니스가 의사 결정을 내릴 때 AI 시스템에 의존하는 경향이 점차 높아지고 있습니다. 예를 들어 보건 의료 산업에서는 AI를 활용하여 이미지 분석이나 의학적 진단을 내릴 수 있습니다. 금융 서비스에서는 AI를 활용하여 대출을 승인하고 투자를 자동화할 수 있습니다.

이러한 의사 결정은 사람, 환경, 시스템에 영향을 미치고 리스크를 일으킵니다. 투명성과 책임성은 사람과 AI 시스템 간의 신뢰를 형성하는 데 매우 중요합니다. 반면, 이해 부족은 혼란과 오류, 때로는 법적 결과로 이어질 수 있습니다.

투명성과 설명 가능성을 우선시하면 기술적으로 우수할 뿐만 아니라 안전하고 공정하며 사람의 가치 및 니즈에 부합하기도 하는 AI를 구축할 수 있습니다. 

해석 가능성과 설명 가능성

XAI의 맥락에서 설명 가능성(explainability)과 해석 가능성(interpretability)은 종종 구별 없이 사용되지만, 이러면 혼란을 일으킬 수 있습니다. 

해석 가능성은 사람이 모델의 내부 로직을 어느 정도까지 이해할 수 있는가를 말합니다. 해석 가능성은 모델의 상태와 관련이 있으며, 여러 단계에 걸쳐 있습니다. 해석 가능성이 높은 모델은 본질적으로 이해하기 쉽습니다. 즉 비전문가도 입력과 출력의 관계를 이해할 수 있습니다. 해석 가능성이 낮은 모델은 내부 작동 방식이 너무 복잡해서 사람이 이해하기 어렵습니다.

설명 가능성은 타당성이나 설명을 생성하는 프로세스를 말합니다. 설명 가능성은 AI가 특정 결정을 내린 방식과 이유를 제시하기 위해 복잡한 모델에 적용되는 일련의 기술(XAI 기술)을 통해 구현됩니다. 모델의 로직이 너무 복잡해서 단번에 해석할 수 없다면, XAI 기술은 사용자가 모델의 판단 이유를 더 잘 이해하도록 돕습니다. 

해석 가능성이 높아 충분한 투명성을 제공하는 경우에는 외부적인 설명 가능성은 일반적으로 필요하지 않습니다. 해석 가능성이 낮으면, 다시 말해서 본질적인 투명성이 부족하면 모델에 대한 신뢰와 이해를 구축하기 위해 외부적인 설명 가능성이 필요해집니다.

머신 러닝은 AI 애플리케이션의 핵심 기술로, 컴퓨터가 알고리즘을 사용해 데이터에서 학습하고 모델을 생성하는 프로세스입니다. 머신(컴퓨터)은 데이터와 알고리즘을 사용하여 학습하며, 데이터 사이언티스트는 한 가지 이상의 학습 기술을 선택하여 모델 생성을 지원합니다. 

모델을 학습시키는 방법

머신 러닝 모델을 만들려면 세 가지가 필요합니다. 

1. 데이터

숫자, 텍스트, 오디오 파일, 영상 클립 및/또는 이미지가 바로 데이터입니다. 필요한 데이터의 양은 해결하려는 문제의 복잡성, 데이터의 품질, 선택하는 알고리즘의 복잡성에 따라 다릅니다. 

선형 회귀와 같은 단순 알고리즘을 선택하는 경우(산점도의 데이터에서 직선을 찾기 위해)에는 데이터 포인트가 수십 개만 필요할 수 있습니다. 신경망과 같은 복잡한 알고리즘을 선택하는 경우에는 필요한 데이터 포인트가 수백만 또는 수십억 개에 달할 수 있습니다. 

2. 알고리즘

알고리즘은 컴퓨터가 학습할 때 사용하는 레시피 또는 공식입니다. 알고리즘은 잘 정의되어야 하고 명확한 중지 지점이 있어야 합니다. ML 알고리즘의 기본 목적은 태스크별 명시적 프로그래밍 없이도 머신이 결정을 내릴 수 있도록 데이터에서 패턴을 발견하는 것입니다.

의사 결정 트리 같은 일부 알고리즘은 추적 가능하고 간단한 출력을 생성하도록 설계되었습니다. 흐름도 같은 의사 결정 트리를 생각해 보세요. 이해하고 수정하기가 쉽습니다. 

다음으로, 랜덤 포레스트 알고리즘을 생각해 보겠습니다. 수백 개의 의사 결정 트리를 학습시킨 다음 각 트리에게 '투표'하도록 요청하여 최종 출력을 생성하는 알고리즘입니다. 사람은 흐름도 수백 개의 로직을 추적할 수 없기 때문에, 이 알고리즘은 이해하기가 거의 불가능합니다.

3. 학습 기술

데이터 사이언티스트가 컴퓨터의 학습 프로세스를 설계 및 구현하고 미세 조정(fine-tuning)할 때 사용하는 기술을 말합니다. 학습이라고 부르는 이 프로세스는 다음과 같은 방법을 사용합니다.

• 지도 학습(supervised learning): 모든 입력 데이터에 정답 레이블이 지정된 데이터세트를 모델에 제공합니다. 모델은 입력 데이터와 정답 레이블 간의 관계를 학습하게 됩니다. 지도 학습은 미래에 발생할 일을 예측하는 데 도움이 될 수 있습니다.
  • 예를 들어 말과 곰 사진 10만 장을 모델에 제공하고 각 사진에 '말' 또는 '곰' 레이블을 올바르게 지정합니다. 그러면 모델은 패턴을 학습해서 새로운 사진을 보면 그것이 말인지 곰인지 올바르게 레이블을 정할 수 있습니다.
• 비지도 학습(unsupervised learning): 데이터에 레이블을 지정하지 않고 데이터세트를 모델에 제공합니다. 모델은 데이터 내의 패턴과 연관성을 스스로 찾아야 합니다. 비지도 학습은 존재하는 패턴을 발견하는 데 도움을 줄 수 있습니다.
  • 예를 들어 고객 쇼핑 행동에 관한 데이터를 모델에 제공합니다. 그러면 모델은 개 사료를 구매한 쇼핑객이 60% 확률로 워킹화를 구매하는 패턴을 발견할 수 있습니다.
• 강화 학습(reinforcement learning): 모델에 목표와 일련의 규칙을 제공하지만, 레이블이 지정된 데이터는 제공하지 않습니다. 모델은 상호작용하며 행동에 대한 '보상' 또는 '불이익'을 받으면서 학습하게 됩니다. 강화 학습은 다음에 취해야 할 행동을 제안하는 데 도움이 될 수 있습니다.
  • 예를 들어 모델은 게임을 수백만 번 플레이하여 체스를 배울 수 있습니다. 승리로 이어지는 수를 두면 '보상'을, 패배로 이어지는 수를 두면 '불이익'을 받습니다. 이 프로세스는 모델이 체스를 두는 방법을 '학습'하도록 돕습니다.

머신이 데이터를 가져와서 알고리즘과 학습 기술을 적용하면, 모델이 생성됩니다. 

신경망에 대한 참고 사항

신경망은 또 다른 유형의 머신 러닝 알고리즘입니다. 인간의 두뇌에서 영감을 받은 신경망은 여러 계층의 상호 연결된 노드(뉴런)를 통과하여 데이터를 전달합니다. 데이터가 각 계층을 통과할 때 데이터에는 서로 다른 '가중치'가 할당됩니다. 이 가중치에 따라, 최종 출력에 도달하기 전까지 데이터가 다음 계층(그리고 그다음 계층, 또 그다음 계층 등)을 어떻게 통과할지 결정됩니다. 

신경망에는 대체로 입력 계층 하나와 출력 계층 하나가 있습니다. 때로는 숨겨진 계층이 있을 수도 있습니다. 숨겨진 계층은 모델의 투명성을 떨어뜨릴 수 있습니다. 특히, 숨겨진 계층의 규모가 크거나 모델에 숨겨진 계층이 많은 경우 더욱 그렇습니다. 숨겨진 계층이 여러 개 있는 신경망은 심층 신경망으로 분류할 수 있으며, 심층 신경망을 학습시키는 데 사용되는 방법을 딥러닝이라고 합니다. 

그렇다면, 숨겨진 계층은 어떻게 생성될까요? 

숨겨진 계층은 머신이 자체 마인드를 생성하는 인스턴스가 아닙니다. 사전 설계된 계층 내에서 자체적인 연결을 생성하도록 데이터 사이언티스트가 머신에 지시하면 발생하는 것이 숨겨진 계층입니다. 최종적으로 나오는 학습된 로직이 너무 복잡해서 사람은 이해하기 어렵습니다.

블랙박스는 이해하기 너무 복잡하거나 수행한 작업을 보여주지 않는 AI 모델을 말합니다. 그러면 알고리즘을 만든 데이터 사이언티스트와 엔지니어를 포함한 어느 누구도 모델이 특정 출력에 도달한 과정을 정확하게 설명할 수 없습니다.

예를 들어 ChatGPT를 구동하는 신경망 중 하나인 GPT4는 단어 하나를 생성하는 데 3조 건이 넘는 수학적 계산을 수행합니다. 이 계산을 직접 확인하려는 사람이 1초당 계산 한 건을 할 수 있다면, 단어 하나를 생성하는 데 필요한 계산을 재현하려면 95년이 걸립니다. 이런 사례에서는 출력이 올바른지는 확인할 수 있지만 작업을 입증하는 것은 거의 불가능합니다. 

이렇듯 블랙박스 모델은 해석이 불가능하기 때문에 이 기능이 의료, 운송, 보안, 군사, 법률, 항공우주, 사법 제도, 금융 등의 리스크 높은 산업에서 고위험 의사 결정에 사용되는 경우 폐해를 초래할 수 있습니다. 

설명 가능한 AI는 블랙박스 내부를 들여다보는 방법이라고 생각하면 됩니다. 

블랙박스 모델은 모두 해로운가요?

블랙박스 시스템의 미스터리한 특성이 본질적으로 해롭지는 않습니다. 하지만 이 시스템은 고위험 상황에서 사용될 때 상당한 위험을 초래할 수 있습니다. 블랙박스 AI 시스템이 초래할 수 있는 결과는 다음과 같습니다.

편향 및 차별. 본질적으로 편향된 데이터로 AI 시스템을 학습시키면 패턴이 반복될 가능성이 높습니다. 회사가 과거 20년 간 축적한 '성공적인' 임원 채용 데이터로 채용 툴을 학습시켰다고 가정하겠습니다. 이 임원 풀이 대부분 남성이라면 시스템은 여성 이름이 포함된 이력서에 불이익을 줄 수 있습니다.

책임성 부족. 블랙박스 시스템이 오판을 일으키는 경우, 시스템의 로직 패턴을 추적할 방법이 없습니다. 예를 들어 블랙박스 시스템을 사용하는 의료 기기나 자율주행 차량이 오진이나 사고를 일으켜 누군가 피해를 입었다면, 누구에게 또는 무엇에게 잘못이 있는지 결정할 때 법적 복잡성이 발생할 수 있습니다.

개발자가 AI 시스템 내부의 작동 방식을 이해하지 못하는 경우에는 수정하거나 개선하기가 훨씬 더 어렵습니다. 로직이 숨겨진 경우에는 AI 시스템의 신뢰를 구축하기가 더 어렵습니다.

블랙박스 대 화이트박스

블랙박스에 반대되는 개념이 화이트박스입니다. 화이트박스는 글래스박스라고도 부르며 내부 작동 방식이 투명한 모델을 의미합니다. 다시 말해서, 사람이 입력부터 출력에 이르는 전체 의사 결정 프로세스를 추적할 수 있습니다. 해석 가능성의 개념을 다시 생각해 보세요. 화이트박스는 해석 가능한 모델이고, 블랙박스는 설명 가능성을 요구하는 모델입니다. 

화이트박스 모델이 있는데 블랙박스 모델을 생성하는 이유는 무엇일까요? 기능과 성능 때문입니다. 화이트박스 모델은 내부 작동이 덜 복잡하기 때문에 해석하기가 더 쉽습니다. 따라서 규모가 작고 컴퓨팅 용량 및 성능도 상대적으로 낮습니다. 

화이트박스 모델의 성능이나 정확성이 부족하여 원하는 출력을 생성하지 못하는 경우 데이터 사이언티스트는 블랙박스 솔루션을 선택할 수 있습니다. 예를 들면 생성형 AI와 같이 복잡하고 미묘하며 정교한 분야에서 모델을 학습시키는 경우입니다. 

설명 가능한 AI는 AI 시스템이 출력에 도달하기까지의 과정을 이해할 수 있게 돕습니다. 이것은 다음과 같은 장점으로 이어집니다.

신뢰 강화. 에이전틱(Agentic) AI와 같은 기술을 성공적으로 구현하려면 알고리즘과 사람 간에 신뢰가 있어야 합니다. 설명 가능한 AI의 기본 목적은 AI 애플리케이션이 제공한 결과를 사용자가 신뢰하도록 돕는 것입니다. 

리스크 감소. 설명 가능한 AI는 더 정확한 모델 평가를 가능하게 하므로, 사용자는 요구 사항에 가장 잘 맞는 모델이 무엇인지 정보에 기반해 결정할 수 있습니다. 

협업 효율 증가. 설명 가능한 모델을 사용하면 팀 간 협력에 도움이 됩니다. 병원 환경에 머신 러닝 모델을 롤아웃하는 과정에서 데이터 사이언티스트와 의사 사이의 관계를 생각해 보세요. 모델이 환자의 패혈증 위험이 높다고 예측하고, XAI는 이 예측에 기여하는 상위 요인들로서 높아진 심박수, 낮은 혈압, 낮은 산소 포화도 등을 제시합니다. 의사는 이를 이해하고 검증하여 모델이 의학적으로 타당한 조언에 의존하고 있음을 확인합니다. 

문제 해결 가속화. 데이터 사이언티스트가 모델의 출력 생성 로직을 이해할 수 있다면 더 수월하고 신속하게 개발 및 디버깅하고 인적 개입을 통해 의사 결정을 내릴 수 있습니다. 기억할 점은 XAI가 컴퓨터 구동 속도를 높이지는 않는다는 것입니다. 실제로는 컴퓨팅 오버헤드를 증가시킵니다. 하지만 사람의 시간을 절약해 줍니다. 

더 효율적인 규제 컴플라이언스. 설명 가능한 AI는 기업의 규정 및 개인정보 보호법 준수를 지원할 수 있습니다. 여기에는 유럽 연합의 일반 데이터 보호 규정(GDPR)이 포함되며, 이 규정은 자동화된 의사 결정에 개입된 로직을 알 권리와 '이러한 데이터 처리가 데이터 주체에 미치는 중요성과 예상되는 결과'를 알 권리를 개인에게 부여합니다. 이런 경우 XAI는 특정 결과에 영향을 미친 데이터 포인트 및 요인을 자세히 제시하여 의사 결정을 설명하는 데 도움이 될 수 있습니다. 

캘리포니아 프런티어 인공지능 투명성 법안(TFAIA)은 개발자에게 모델의 리스크 및 실시한 리스크 감소(risk mitigation) 조치에 관한 투명성 리포트를 발행할 것을 요구합니다. XAI를 활용하면 이러한 리스크를 더 쉽게 식별할 수 있습니다. 

모델 드리프트 감소. 모델의 성능은 드리프트가 발생할 수 있습니다(시간이 흐름에 따라 새로운 데이터가 유입되면 성능이 저하됨). XAI는 모델 드리프트가 발생하고 의도와 다른 출력이 나오는 경우 모델을 분석하고 알림을 생성하는 데 도움을 줍니다. 

설명 가능한 AI 분야는 빠르게 발전하는 AI의 속도에 맞춰 지속적으로 성장하고 있습니다. XAI를 구현하는 것은 필요하지만, 그 솔루션이 완벽하지는 않습니다. 다음과 같은 한계를 염두에 두시기 바랍니다.

출력의 기술적 복잡성. 현재 XAI의 방법은 고도로 기술적이며 일반적인 사용자가 아닌 ML 전문가에 맞춰져 있습니다. 이 문제를 해결하려면 더 많은 기술 교육과 학습이 필요하거나 복잡한 문제에 대해 쉬운 용어로 된 설명을 만드는 일이 필요합니다. 

높은 컴퓨팅 비용. XAI 기술을 실행하는 데는 높은 비용이 듭니다. 설명 알고리즘이 모델이 특정 출력을 생성한 이유를 이해하기 위해 포괄적인 계산을 수행해야 하기 때문입니다. 단일 예측이 어떻게 생성되었는지 이해하기 위해서만 수천 회에 달하는 모델 실행이 필요할 수도 있습니다. 

보안 리스크. 모델을 이해하기 위해 블랙박스를 열면 모델을 속이는 방법을 노출시키는 리스크를 안게 됩니다. 그러면 악의적인 행위자가 시스템을 조작하여 보안을 위반하는 방식으로 리버스 엔지니어링할 수 있는 취약성을 일으킬 수 있습니다. 

이해와 신뢰 

프로세스의 작동 방식을 이해하는 것과 프로세스를 신뢰하는 것은 다릅니다. 스케이트보드의 역학을 이해할 수 있지만, 탈 수 있을 정도로 신뢰하는 것은 아닙니다. 

신뢰라는 주제는 'AI를 과도하게 신뢰하는 것이 해가 될 수 있는가?'라는 질문을 낳습니다. 회의론은 건강한 것입니다. AI 시스템을 지나치게 신뢰하면 예기치 않은 잠재적 실수에 노출될 수 있습니다. 반면, AI 시스템을 충분히 신뢰하지 않으면 AI가 제공할 수 있는 장점을 놓칠 수 있습니다. 

설명 가능한 AI는 사용자가 신뢰 수준을 조정할 수 있게 돕는 것을 목표로 합니다. XAI가 유용한 컨텍스트를 제공하면 사용자는 AI 시스템을 어느 정도로 신뢰할지를 스스로 결정할 수 있습니다.

XAI를 구현하려면 최초 설계부터 모니터링에 이르는 전체 머신 러닝 라이프사이클에서 투명성을 더욱 강화해야 합니다. ML 또는 AI 알고리즘의 출력을 한 가지 방법으로 설명할 수는 없습니다. 모델이 어떻게 구축되었는지, 그리고 최종 사용자가 누구인지에 따라 접근 방식이 달라집니다. 다음과 같은 요소를 고려하세요.

글로벌 XAI 모델과 로컬 XAI 모델: 어느 수준의 설명이 필요합니까?

• 글로벌 설명은 모델이 의사 결정을 내리는 데 사용하는 일반 패턴을 전반적인 수준에서 이해하도록 설명합니다. 예를 들어, 대출 승인을 예측하는 모델의 경우 글로벌 설명은 '신용 점수가 높은 후보자를 승인하는 경향이 있다'고 진술할 수 있습니다.
• 로컬 설명은 모델이 내린 하나의 의사 결정에 영향을 미친 요인을 자세히 설명합니다. 예를 들어, 앞서 언급한 대출 승인 모델의 로컬 설명은 'John Smith는 신용 점수가 520이고 수입이 임곗값 $35,000 미만이기 때문에 11월 19일에 대출이 거절되었다'고 진술할 수 있습니다.

직접적 XAI 모델과 사후적(post-hoc) XAI 모델: 모델이 설명을 어떻게 제공하도록 설계되었습니까?

• 직접적 모델은 화이트박스 모델처럼 처음부터 투명하고 추적 가능한 결과를 생성합니다.
• 사후적 모델은 블랙박스 모델처럼 애초부터 해석 가능하게 설계되지 않았습니다. 하지만 학습이 완료된 후 알고리즘을 적용하여 AI 시스템의 작동 방식에 대한 인사이트를 획득할 수 있습니다. 이 알고리즘은 출력을 분석하고 설명을 생성할 수 있습니다.
  • LIME(Local Interpretable Model-agnostic Explanations)은 출력 데이터를 조작하여 약간 다른 일련의 인공 데이터를 생성하는 기술입니다. LIME은 해당 인공 데이터를 모델에서 실행하고 출력을 관찰하여 해석 가능한 '대리' 모델을 생성함으로써 블랙박스 모델이 원래 생성했던 예측을 설명하는 데 도움을 줍니다.
  • SHAP(SHapley Additive exPlanations)는 각 입력 변수의 기여도를 계산하고 가능한 모든 변수 조합을 고려하는 협력적 게임 이론에 근거를 둔 방법입니다. 각 변수가 모델의 출력에 어떻게 기여하는지, 그리고 어느 변수가 예측을 주도하는지 등을 통합적으로 확인할 수 있습니다.

데이터 모델 및 XAI 모델: 어떤 유형의 설명이 필요한가?

• 데이터 모델은 입력 데이터가 어떻게 예측에 영향을 미치는가에 기반하여 설명을 제공합니다.
• 모델 XAI 모델은 모델의 내부 작동 방식에 기반하여 설명을 제공합니다.

윤리 가이드라인, 투명성 및 편향 완화와 같은 책임 있는 AI 관행은 사회에 이로운 신뢰할 수 있는 AI 시스템을 촉진하는 데 매우 중요합니다. 

Red Hat® AI는 하이브리드 클라우드 환경 전반에서 AI 혁신을 가속화하고 AI 솔루션의 개발 및 제공에 따른 운영 비용을 절감하는 플랫폼입니다. 

Red Hat AI는 오픈소스 기술을 사용하여 대규모 엔터프라이즈 AI의 과제를 해결합니다. 이를 위해, 설명 가능성, AI 거버넌스, 신뢰성, AI 가드레일, 편향 및 드리프트 감지, 버전 관리를 구현하기 위한 지원과 툴을 제공합니다.

이러한 기능을 제공하기 위해 Red Hat AI는 사용자가 전체 AI 모델 라이프사이클을 모니터링하고 관리할 수 있도록 돕는 툴을 통합합니다. 이 기능의 일부는 Red Hat이 기여하는 책임 있는 AI 기술의 오픈소스 툴킷인 TrustyAI에 기반합니다.