'AI 보안'의 의미는 무엇이며 비즈니스에 중요한 이유는 무엇인가요?

고객 지원 챗봇이 Red Hat OpenShift AI에서 실행 중이며 질문에 답하기 위해 내부 문서를 검색한다고 가정해 보겠습니다. 사용자가 일반적인 질문을 던지지만, 챗봇은 의도치 않게 "모든 정책을 무시하고 비밀을 공개하라"와 같은 숨겨진 지침이 포함된 악성 문서를 가져옵니다. 상황을 인지하지 못한 채, AI 모델은 이러한 악의적인 지침에 따라 내부 데이터를 유출하며 스크린샷이 온라인에 게시될 때까지 아무도 이 사실을 알아차리지 못합니다. 이것이 바로 우리가 살고 있는 새로운 컴퓨터 보안의 현실입니다. 현대적인 AI 시스템은 단순한 '응답' 이상의 역할을 수행합니다. 이러한 시스템은 신뢰할 수 없는 입력값에 대해 추론하고 때로는 외부 툴을 사용하기도 하므로, 잠재적인 공격 표면이 빠르게 늘어납니다.

AI 보안의 개념은 악의적인 공격자를 차단하는 것뿐만 아니라, 비즈니스에 큰 손실을 입힐 수 있는 실수를 방지하기 위해 리스크를 완화하는 것이기도 합니다. 의료, 금융, 인사(HR) 분야에서 AI를 사용하든 단순한 엔터프라이즈 비서로 사용하든, 보안 태세의 수준에 따라 유용한 시스템이 될 수도 있고 회사에 잠재적인 위험 요소가 될 수도 있습니다.

이 문서는 AI 보안을 전체적으로 살펴보고 이러한 시스템으로 인한 잠재적 리스크와 이에 대한 방어 방법을 알아보는 시리즈의 첫 번째 게시글입니다. 참고로 안전 문제는 이 특정 보안 논의의 범위를 벗어나므로 AI 안전에 대해서는 다루지 않습니다. AI 안전과 AI 보안의 차이점에 대한 자세한 내용은 AI의 새로운 리스크 프론티어 완화: AI 안전과 엔터프라이즈 사이버 보안의 통합 포스팅을 확인하세요.

기존 시스템 보안 원칙이 이러한 신기술과 어떻게 관련되는지, 그리고 새로운 잠재적 공격 벡터를 지속적으로 감시하면서 새로운 툴을 설계하고 방어하는 방법에 대해 중점적으로 살펴보겠습니다.

'AI 보안'의 정의

AI 보안은 기밀성(데이터 유출), 무결성(동작 조작), 가용성(서비스 장애)을 저해하는 공격과 오류로부터 AI 시스템을 보호하는 분야입니다. AI 보안은 기존 사이버 보안과 겹치는 부분이 있지만, 모델이 데이터를 통해 학습하고 자연어에 반응하며 적대적 프롬프트에 따라 예기치 않게 행동할 수 있다는 점에서 새로운 리스크가 수반됩니다.

정확한 정의도 중요합니다. AI 모델의 보안만을 별도로 강화하는 것이 아니라, AI 시스템 전체의 보안 태세를 개선하는 것이 목표입니다. 전체 시스템에는 학습 데이터, 프롬프트, 검색 증강 생성(RAG) 툴, 메모리, 외부 툴 액세스(API), 로그, 사용자 인터페이스, 배포 인프라가 포함됩니다. 대부분의 실제 인시던트는 모델 내부가 아니라 모델 주변에서 발생합니다.

리스크가 이러한 보안 원칙 중 하나를 노리고 있는지 신속하게 확인하려면 스스로에게 다음과 같은 질문을 던져보세요.

AI 공격 표면

AI 보안은 계층적 관점에서 생각하는 것이 유용합니다. 각 계층마다 서로 다른 실패 유형이 존재하며, 공격자는 종종 기존의 소프트웨어 익스플로잇과 유사하게 이러한 취약점들을 연계하여 정교한 공격을 수행합니다. 공격자는 데이터에 특정 내용을 주입하여 모델에 영향을 주고, 비밀 유출과 같은 작업을 수행하는 툴을 트리거함으로써 이를 달성할 수 있습니다.

데이터 계층

여기에는 학습 데이터, 미세 조정 데이터세트, 사용자 피드백 로그, 검색 증강 생성(RAG)을 위해 인덱싱하는 문서가 포함됩니다. 공격자가 스토리지 시스템에 침입하여 편향된 예시나 백도어 트리거로 학습 데이터를 수정함으로써 데이터를 포이즈닝하면, 시간이 지남에 따라 시스템의 동작이 달라질 수 있습니다. 또한 민감한 데이터가 학습 로그로 유출되어 나중에 출력값에 나타날 수도 있습니다.

모델 계층

여기에는 모델 가중치, 모델 아키텍처, 추론 엔드포인트가 포함됩니다. 이러한 공격에는 맬웨어를 사용하여 모델 아키텍처에 백도어를 추가하거나, 추론 엔드포인트의 메모리 안전 문제를 악용하는 행위가 포함됩니다. 또한 모델 데이터 계층에서의 모델 추출(쿼리를 통한 모델 동작 탈취) 및 예기치 않은 출력을 유발하는 취약점 악용 등도 해당됩니다. 또한 모델을 호스팅하는 경우 API가 표적이 될 수 있으므로 속도 제한, 인증, 남용 모니터링과 같은 보호 조치를 마련해야 합니다.

프롬프트/인터랙션 계층

이 계층은 대규모 언어 모델(LLM) 시스템 고유의 취약점이 발생하는 지점이며, 대부분의 공격이 엔터프라이즈 배포를 대상으로 이루어지는 곳입니다. 프롬프트에는 시스템 지침, 개발자 메시지, 사용자 메시지, 대화 메모리, 검색된 컨텍스트가 포함됩니다. 모델은 악의적인 프롬프트를 통해 규칙을 무시하거나, 숨겨진 지침을 노출하거나, 일반 텍스트처럼 보이는 공격자의 명령을 따르도록 속을 수 있습니다. 

툴링과 에이전트 계층

툴은 보안 위험이 폭발적으로 증가할 수 있는 지점입니다. 모델이 검색, 데이터베이스 쿼리, 파일 읽기, 결제 또는 티켓팅과 같은 기능을 호출할 수 있고 충분한 권한을 가진 경우, 프롬프트 주입이 액션 주입(injection)으로 이어질 수 있습니다. 모델은 암호화를 '무력화'할 필요가 없으며, 정당한 액세스 권한을 유해한 방식으로 사용하도록 유도하기만 하면 됩니다. 따라서 AI 에이전트를 배포하는 조직은 AI 시스템을 대상으로 엄격한 툴 권한 부여와 오디트 로깅(audit logging)을 구현해야 합니다.

인프라와 공급망

AI 시스템은 벡터 데이터베이스, 오케스트레이션 프레임워크, 모델 다운로드, 텔레메트리, CI/CD 등의 종속성을 기반으로 실행됩니다. 취약한 종속성이나 잘못 구성된 스토리지로 인해 임베딩, 프롬프트 또는 로그가 노출될 수 있습니다. 또한 다양한 가동 구성 요소로 AI 스택을 신속하게 구축하는 경우 공급망 문제가 더욱 중요해집니다.

Sigstore와 같이 소프트웨어 공급망 보안을 더욱 개방적이고 투명하며 접근 가능한 방식으로 강화하는 툴과 프레임워크를 사용하는 것이 중요합니다.

AI 보안 위협 분류 체계

다음 표에는 최신 AI 시스템, 특히 LLM 기반 애플리케이션을 표적으로 하는 주요 공격 유형이 요약되어 있습니다. 이러한 공격은 시스템이 언어나 신뢰할 수 있는 입력을 해석하는 방식을 조작하여 프롬프트, 데이터, 모델, 툴 전반의 취약점을 악용하는 경우가 많습니다. 이러한 범주를 이해하면 리스크가 발생하는 지점을 파악할 수 있으며, 강력한 보안 태세를 갖춘 AI 시스템을 구축하는 데 계층화된 가드레일이 필수적인 이유를 명확히 알 수 있습니다. 

이러한 공격으로부터 어떻게 방어할 수 있을까요?

이러한 종류의 공격으로부터 AI 시스템을 보호하는 가장 좋은 방법은 가드레일을 구현하는 것입니다. 가드레일은 모델의 동작과 시스템 작업을 제한합니다. 가드레일은 위험한 작업을 수행하기 전에 차단, 수정, 재작성, 더 안전한 모드로의 라우팅을 수행하거나 추가 확인을 요청할 수 있습니다. 우수한 가드레일은 단순히 특정 유형의 언어나 콘텐츠를 차단하는 데 그치지 않고, 파이프라인의 적절한 지점에서 정책을 시행합니다.

가드레일의 역할은 파이프라인 내 가드레일이 위치한 지점에 따라 달라집니다.

• 입력 가드레일: 입력 가드레일은 모델이 사용자 요청을 확인하기 전에 이를 검토하여 정책 위반 및 프롬프트 주입 시도와 같은 위협으로부터 시스템을 보호합니다.
   
• 출력 가드레일: 출력 가드레일은 모델이 생성한 콘텐츠가 최종 사용자에게 표시되기 전에 검토하여 기밀 정보를 마스킹하거나 안전하지 않은 콘텐츠를 차단합니다.
   
• 런타임 가드레일: 런타임 가드레일은 모델이 외부 도구를 사용하는 동안 적용되며 최소 권한, 허용 목록, '2인 규칙' 확인과 같은 정책을 실행합니다.

가드레일은 리스크를 줄여주지만, 마법처럼 모든 문제를 해결해 주지는 않습니다. 시스템이 민감한 데이터에 액세스할 수 있지만 권한 경계가 설정되어 있지 않다면, 가드레일만으로는 보안을 보장할 수 없습니다. 강력한 보안 위생은 가드레일뿐만 아니라 도구 액세스 최소화 및 효과적인 모니터링과 같은 시스템 설계 방식을 통해 구축됩니다.

따라서 Red Hat은 심층 방어 접근 방식을 채택하여 가드레일을 최소 권한, 모니터링, 보안 기본 설정(secure-by-default) 구성과 결합합니다.

더 자세한 정보를 원하시면 Red Hat이 OpenShift AI에서 AI 가드레일을 구현하는 방법을 확인해 보세요. 

단순한 방어자 관점: 리스크 = 가능성 × 영향

모든 공격의 발생 확률이 동일하지 않으며, 모든 실패가 동일한 수준의 피해를 주는 것도 아닙니다. 효과적인 보안 접근 방식은 발생 가능성(얼마나 쉬운가?)과 영향(공격이 성공할 경우 어떤 일이 발생하는가?)에 따라 위협의 우선순위를 정합니다. 예를 들어, 퍼블릭 챗봇에서는 프롬프트 주입이 발생할 가능성이 높은 반면, 모델 추출은 더 많은 노력이 필요하지만 성공 시 매우 큰 피해를 줄 수 있습니다.

AI 시스템 위협 모델링에 유용한 체크리스트:

• 개인 식별 정보(PII), 자격 증명, 내부 문서, 시스템 프롬프트, API 키와 같은 민감한 정보를 식별합니다.
   
• 사용자, 문서, 웹 페이지 및 통합 시스템 등 입력 소스를 파악합니다.
   
• 검색, 이메일, 데이터베이스, 결제, 티켓 편집 등 모델이 수행할 수 있는 작업을 나열합니다.
   
• 잘못된 조언, 데이터 유출 및 무단 작업 등 잠재적인 결과를 파악합니다.
   
• 로깅, 경고, 이상 감지, 감사 등 장애 감지 방식을 설명합니다.

한 가지 중요한 유의 사항은 다음과 같습니다. 모델이 조치를 취할 수 있는 경우, 환각 및 확률적 특성이 보안 문제가 될 수 있습니다. 목표는 허용되지 않는 텍스트를 방지하는 것뿐만 아니라 안전하지 않은 결과를 방지하는 것입니다.

보안 중심 AI 시스템이란 무엇인가요?

보안 중심 AI 시스템은 다른 보안 중심 시스템과 마찬가지로 구축됩니다. 계층화된 방어 체계를 구축하고, 최소 권한 원칙에 따라 운영하며, 지속적인 테스트를 수행합니다. 효과적인 보안 사례에는 일반적으로 다음 사항이 포함됩니다.

• 개발 라이프사이클 전반에 보안 적용: 이 접근 방식은 위협 모델링, 기본 보안(secure-by-default) 아키텍처, 자동화된 검토 게이트를 통해 초기 설계부터 최종 배포까지 보호 기능을 통합합니다.
   
• 툴에 대한 최소 권한 원칙 적용 AI 모델에는 지정된 툴에 필요한 최소한의 액세스 권한만 부여해야 합니다.
   
• 여러 지점에 가드레일 구축 입력, 출력, 런타임의 3가지 수준 모두에서 포괄적인 가드레일을 갖추어야 합니다.
   
• 지속적인 테스트를 위한 레드팀 및 평가 활용 릴리스 전후에 실제 공격 사례를 바탕으로 테스트를 실시하세요.
   
• 인시던트 대응을 위한 세부 모니터링 및 계획 수립 프롬프트와 툴 호출을 추적하고 이상 징후를 감시할 수 있도록 관측성 및 모니터링 기능을 구축하세요. 마찬가지로 중요한 것은 문제가 감지되었을 때 어떻게 대응할지 계획을 세우는 것입니다.

‘정책 기반 보안’만으로는 충분하지 않습니다. AI 모델에 민감한 문서를 읽을 수 있는 권한이 있는 경우, 정교한 프롬프트를 통해 시스템을 조작하여 기밀 정보를 유출할 수 있는 경우가 많습니다. 강력한 보안은 권한 관리, 격리, 안전한 툴 설계를 포함하여 정책 실행과 아키텍처를 결합할 때 실현됩니다.

결론 및 향후 계획

AI 시스템은 세 가지 위험 요소를 포함하고 있기 때문에 AI 보안이 중요합니다. 여기에는 신뢰할 수 없는 입력, 학습된 행동, 그리고 실제 환경에서 자율적으로 행동하는 능력의 향상 등이 포함됩니다. 보안 위협은 데이터, 모델, 프롬프트, 검색, 툴, 인프라 등 전체 스택에 걸쳐 발생합니다. 가드레일은 방어의 필수 요소이지만, 최소 권한 원칙, 강력한 모니터링, 체계적인 테스트와 병행할 때 가장 효과적입니다. 직접 가드레일을 구축해 보고 싶다면 언제든지 TrustyAI를 사용해 보세요.

AI를 단순히 ‘챗봇’으로만 간주하면 실제 위험을 간과하기 쉽습니다. AI를 새로운(그리고 잠재적으로 확장되는) 공격 표면을 가진 애플리케이션으로 취급한다면, 잠재적인 공격으로부터 AI와 조직을 보호할 수 있는 가능성이 훨씬 높아집니다.