규제 기관은 은행에 단순히 포트폴리오가 건전해 보이는지 묻지 않습니다. 금리 충격, 유동성 위기, 시장 붕괴와 같은 악조건 속에서 포트폴리오가 어떻게 버텨내는지를 입증하는 문서화된 증거를 요구합니다. 이러한 논리는 실제 프로덕션 환경에 배포되는 AI 모델에도 동일하게 적용됩니다. 기업의 이름을 걸고 세상에 나오기 전에, 모델이 극심한 압박 상황 속에서 어떻게 작동하는지 먼저 파악해야 합니다.

모델 카드가 알려주는 것과 알려주지 않는 것

표준 모델 카드(standard model card)에는 교육 데이터 소스, 벤치마크 점수, 선별된 테스트 세트의 정확도 지표 등 모델 개발자가 공유하기로 결정한 내용이 표시됩니다. 이러한 정보는 유용하지만, 누군가 모델을 무너뜨리려고 할 때 모델이 어떻게 작동하는지는 모델 카드를 통해 알 수 없습니다.

가장 중요한 점은, 모델 카드가 규제 환경에서 가장 중요한 핵심 질문에 대한 답을 주지 못한다는 것입니다. 특정 방식으로 프롬프트가 입력되었을 때 모델이 개인 식별 정보(PII)를 유출하나요? 사용자가 주의깊게 구성한 입력에 의해 모델이 의도치 않은 방향으로 유도될 수 있나요? 적대적인 압박(adversarial pressure) 상황에서 유해한 결과물을 생성하나요?

적대적 조건에서의 동작을 평가하는 벤치마크 범주는 존재하지 않습니다. 이는 다른 차원의 평가이며, 규제 대상 산업에서는 해당 배포의 정당성을 입증할 수 있는지 여부를 결정하는 기준이 됩니다.

벤치마크 통과와 적대적 테스트 통과의 차이

효능 데이터만으로 환자에게 투약될 수 있는 의약품은 없습니다. 규제 기관은 효능 시험에서 미처 확인하지 못한 문제를 밝혀내도록 특별히 설계된 별도의 안전성 평가를 요구합니다. AI 모델에도 동일한 기준이 적용됩니다. 즉, 벤치마크 점수가 표준 조건에서의 정확도를 측정한다면, 안전성 검증은 적대적 조건에서의 동작을 테스트합니다. 두 가지는 서로 다른 대상을 측정하며, 누군가 시스템 오류나 장애를 유발하려 할 때 어떤 일이 발생하는지 알려주는 것은 안전성 검증뿐입니다.

안전성 검증은 사용자가 모델로 하여금 수행해서는 안 되는 동작을 하도록 의도적으로 조작된 입력을 제공할 때 어떤 일이 발생하는지 테스트합니다. 프롬프트를 통해 모델이 다른 사용자의 상담 정보를 유출하도록 유도할 수 있나요? 동일한 유해 요청을 다른 말로 바꾸거나 번역했을 때 필터를 통과할 수 있나요? 얼핏 무해해 보이는 일련의 입력을 연쇄적으로 연결하여 유해한 결과를 초래할 수 있나요?

이는 단순한 가상의 엣지 케이스가 아닙니다. 이는 금융 서비스, 헬스케어, 공공 부문처럼 규제가 엄격한 산업의 조직에 컴플라이언스 위반 사고, 데이터 침해 통지, 규제 리스크 노출을 유발하는 실패 유형입니다.

규제 대상 환경에서 '안전해 보였다'는 말은 감사 추적 증거가 될 수 없습니다

컴플라이언스 프레임워크는 표준 벤치마크의 성능 메트릭뿐만 아니라, AI 시스템이 적대적 조건에서 어떻게 동작하는지에 대한 문서화된 증거를 점차 더 요구하고 있습니다.

규제 환경에서 '프로덕션 레디'란 실제 사용자와 실제 공격자가 모델과 상호작용하는 방식을 시뮬레이션한 조건에서 모델을 검증하고, 그 결과를 검증 가능한 기록으로 모델에 첨부했음을 의미해야 합니다. 배포 전 해당 기록에 포함되어야 할 테스트 범주는 red teaming 결과, 개인 식별 정보(PII) 노출 점수, 유해성 평가 결과 등 3가지입니다. 모델 정확도 점수만으로는 충분하지 않습니다.

문서화된 리스크 프로필이 없는 AI 배포는 효율성 향상으로 포장된 법적 책임 리스크 노출에 불과합니다.

지금 시작하기

자동화된 레드팀(red teaming), 개인식별정보(PII) 노출 스캔, 유해성 평가 등 이러한 유형의 리스크 프로필을 구축하기 위한 툴은 현재 오픈소스에 이미 마련되어 있습니다. 도입할 준비가 된 팀이라면, AI 레드팀 자동화: 대규모 언어 모델 리스크 식별 및 완화(Automate AI red teaming: Large language model risk identification and mitigation) 문서를 확인해 보시기 바랍니다. 이 가이드에서는 자동화된 레드팀 파이프라인, 단계별 공격 심화 전략, 배포 전 테스트 위에 런타임 가드레일을 계층화하여 적용하는 방법을 자세히 안내합니다.

리소스

AI 추론 시작하기

더욱 스마트하고 효율적인 AI 추론 시스템을 구축하는 방법을 알아보세요. Red Hat AI를 통해 양자화와 희소성, 그리고 vLLM 같은 고급 기술에 대해 배울 수 있습니다.

저자 소개

Grace Ableidinger is an AI Engineer and Developer Advocate at Red Hat based in Raleigh, NC. She is passionate about inference optimization, through open-source projects, like vLLM and llm-d, and finding the intersection of AI with high-impact industries. She is dedicated to building communities and resources that empower people to use AI to build a better world.

Sawyer Bowerman is an AI Developer Advocate on Red Hat’s AI team based in Boston, MA. He specializes in high-performance model serving and inference, focusing on scaling open source ecosystems like vLLM and llm-d to make large language models more efficient and accessible for developers. He is dedicated to bridging the gap between raw model performance and real-world developer productivity through open-source innovation.

Anika Aracan is an AI Developer Advocate on Red Hat’s AI team. With a focus on open source AI security and sovereign AI, she creates technical content that makes complex topics accessible and engaging, and is passionate about helping others understand how AI works and how it can be used to make the world better. In her free time, she loves to crochet, especially ducks and geese. She is based in Boston.

UI_Icon-Red_Hat-Close-A-Black-RGB

채널별 검색

automation icon

오토메이션

기술, 팀, 인프라를 위한 IT 자동화 최신 동향

AI icon

인공지능

고객이 어디서나 AI 워크로드를 실행할 수 있도록 지원하는 플랫폼 업데이트

open hybrid cloud icon

오픈 하이브리드 클라우드

하이브리드 클라우드로 더욱 유연한 미래를 구축하는 방법을 알아보세요

security icon

보안

환경과 기술 전반에 걸쳐 리스크를 감소하는 방법에 대한 최신 정보

edge icon

엣지 컴퓨팅

엣지에서의 운영을 단순화하는 플랫폼 업데이트

Infrastructure icon

인프라

세계적으로 인정받은 기업용 Linux 플랫폼에 대한 최신 정보

application development icon

애플리케이션

복잡한 애플리케이션에 대한 솔루션 더 보기

Virtualization icon

가상화

온프레미스와 클라우드 환경에서 워크로드를 유연하게 운영하기 위한 엔터프라이즈 가상화의 미래