asago 소개: 오픈소스 AI 안전 및 거버넌스 오케스트레이션

오늘 Red Hat은 Alquimia AI, Brave Software, EvalEval 연합, IBM Research, 오스트리아 통합 학문 트랜스포메이션 대학교(Interdisciplinary Transformation University Austria), Microsoft, MIT 링컨 랩, 노스캐롤라이나 주립 대학교(North Carolina State University), NVIDIA, Alan Turing Institute와 협력하여 진행하는 오픈소스 AI 안전 프로젝트인 asago를 발표했습니다. 이 블로그 포스트에서는 새로운 커뮤니티가 필요하다고 판단한 이유와 달성하려는 목표, 그리고 현재의 진행 상황에 대해 자세히 설명해 드리고자 합니다.

오픈소스 AI 안전 에코시스템은 풍부한 환경을 갖추고 있습니다. 가드레일, 평가, 레드 티밍(red teaming), 에이전틱 AI 보안 등 다양한 영역에서 우수하고 성숙한 프로젝트가 많이 진행되고 있으며, 이러한 프로젝트는 포괄적인 리스크 프레임워크, 온톨로지, 매핑 등을 통해 보완됩니다. 이러한 프로젝트는 지속적인 개발이 필요한 중요한 프로젝트입니다. Red Hat의 AI 안전 팀은 이러한 많은 업스트림 커뮤니티와 협업하고 기여하고 있으며, 앞으로도 이를 지속할 것입니다.

AI 안전 분야의 추가적인 엔터프라이즈 과제

하지만 일반적인 엔터프라이즈 조직은 이러한 툴 외에도 추가적인 과제에 직면해 있습니다. 잠재적으로 커스텀 구축이 가능한 새로운 AI 에이전트를 온보딩하는 프로세스를 살펴보면, 기존 툴로는 다루기 힘든 더 광범위한 이해관계자, 자산, 프로세스가 존재합니다.

새로운 에이전트 온보딩은 일반적으로 다음과 같은 경로를 따릅니다.

• 정책 개발: 각 팀은 조직에서 AI 사용 시 준수해야 할 사항을 명시한 정책 문서를 작성합니다. 이 문서는 주로 EU AI 법안과 같은 외부 규제를 참조하며, 때로는 특정 활용 사례에 따른 제약 조건(예: 고객 대면 에이전트에 대한 더 엄격한 규칙)으로 보완되기도 합니다.
• 리스크 추출: 담당자는 해당 문서를 검토하여 어떤 이론적인 리스크가 포함되어 있는지 파악해야 합니다.
• 리스크 분류(triaging): 파악된 이론적 리스크 중에서 특정 에이전트에 적용되는 리스크와 실제로 테스트 가능한 기술적 리스크가 무엇인지 결정해야 합니다.
• 시나리오 생성 및 레드 티밍: 그런 다음 기술 팀은 이러한 리스크에 대한 테스트 시나리오를 구축하고 기존 레드 티밍 프레임워크를 통해 실행해야 합니다.
• 반복(Iteration): 이후 결과를 해석하고 가드레일 또는 기타 수정 사항을 적용하며, 배포 준비가 완료될 때까지 에이전트를 반복해서 테스트합니다. 이 프로세스가 수동으로 진행되면 매번 상당한 오버헤드가 발생합니다.

또한 승인 속도가 느려지고 감사 추적이 단절되어, 실제로 수행된 작업을 내부 또는 외부 감사자에게 입증하기 어려워집니다.

asago가 협업을 통해 해결하고자 하는 문제

asago 프로젝트는 이러한 고충을 완화하는 것을 목표로 합니다. Red Hat은 조직이 AI 안전 전문가가 없어도 AI 정책 수립부터 프로덕션 단계까지 원활하게 진행할 수 있도록 지원하고자 합니다. 중요한 점은 Red Hat의 목표가 기존 AI 안전 툴링을 대체하는 것이 아니라, 에코시스템 구성 요소를 결합하는 오케스트레이션 계층 역할을 하는 것입니다. Red Hat은 최적의 기존 툴이 있다면 이를 통합하고, 없는 경우에는 그 공백을 보완해 나갈 것입니다.

물론 이 과정은 반드시 협업을 통해 이루어져야 합니다. Red Hat은 단일 조직이 단독으로 이 작업을 수행할 수 없으며, 수행해서도 안 된다고 믿습니다. 정책 문서, 모델 및 에이전트 유형, 배포 환경, 규제 환경 등 범위가 매우 광범위하므로, 이와 같은 프로젝트에는 폭넓은 관점이 필요합니다. 즉, 다양한 전문성은 필수 요소입니다.

이것이 바로 Red Hat이 기술 기업, 연구 기관, 커뮤니티 연합, 정부 기관을 대표하는 우수한 초기 파트너들과 함께하는 이유입니다. Red Hat은 파트너들과 함께 단순히 코드를 작성하는 데 그치지 않고, 올바른 질문을 던지고 그에 대한 답을 찾을 수 있도록 노력할 것입니다. 또한 글로벌 커뮤니티로서 언어적, 지리적 대표성을 충분히 확보해야 합니다. Red Hat은 미국, 영국, 유럽 전역의 파트너와 함께 프로젝트를 시작하며, 더 많은 협업자가 아래 링크를 통해 참여하여 적용 범위를 확장해 주시기를 강력히 권장합니다.

진화하는 기술 아키텍처

기술 아키텍처는 프로젝트와 함께 진화할 것이며, 현재 Red Hat이 구상하는 초기 관점은 다음과 같습니다. 프로세스는 다음 2개 섹션으로 나뉩니다.

그림 1: 파란색 노드는 데이터를 나타냅니다. 노란색 노드는 기능 구성 요소를 나타냅니다.

정책 문서에서 시나리오 생성까지

첫 번째 섹션에서는 정책 문서에서 리스크를 추출하여 IBM Risk Atlas에 매핑합니다. 리스크 카드에 인덱싱된 이러한 리스크는 정책이 다루는 이론적 리스크의 전체 범위를 나타냅니다. 이 중 일부는 asago를 통해 자동화하고 해결할 수 있는 기술적 리스크입니다. 이를 위한 핵심 구성 요소는 정책 매퍼(policy mapper)입니다.

다음 과제는 레드 티밍을 실행하기 위한 적절한 시나리오를 만드는 것입니다. 이는 아직 특정 라이브러리에 국한된 것은 아니지만, 시나리오 생성기는 식별된 리스크와 관련하여 해당 에이전트의 세부 사항을 평가하고 어떤 유형의 테스트와 지원 컨텍스트가 필요한지 검토하는 역할을 합니다. 이러한 요소들이 모여 시나리오를 형성합니다. 이 단계에서는 조직의 정책 컨텍스트 내에서 특정 에이전트에 대해 평가하고 방어할 수 있는 일련의 시나리오를 확보하게 됩니다.

그림 2: 파란색 노드는 데이터를 나타냅니다. 노란색 노드는 기능 구성 요소를 나타냅니다.

레드 티밍을 통한 반복적 시나리오 및 권장 사항 도출

반복 루프인 두 번째 섹션에서는 이러한 시나리오를 사용하여 관련 레드 티밍 및 평가 프레임워크를 위한 실행 아티팩트(run artifacts)를 생성합니다. 이 지점부터 데이터 기반 접근 방식이 시작됩니다. 널리 사용되는 평가 및 레드 티밍 프레임워크는 시나리오를 처리하기 위해 합성된 데이터세트와 환경을 통해 (EvalHub에서) 트리거됩니다.

이 결과는 추천 프로세스로 전달되어 레드 티밍 실패에 대한 수정 후보안을 제공합니다. Red Hat은 가드레일부터 시작하여 향후 스택 전반의 추가 구성 요소로 확장될 수 있는 유연한 권장 사항을 구상하고 있습니다. 중요한 점은 이러한 구성 요소가 배포 가능하며(예: 쿠버네티스 사용자 정의 리소스(CR) 또는 구성 맵 사용), 재테스트가 가능하다는 것입니다.

이는 단지 초기 아키텍처일 뿐이라는 점에 유의하세요. 커뮤니티가 발전함에 따라 이 아키텍처도 함께 진화할 것입니다.

지금 바로 무엇을 할 수 있나요?

오늘 발표한 내용은 커뮤니티의 로드맵과 방향성을 강조하고 있지만, 개발은 이미 활발히 진행 중이며 지금 바로 Red Hat의 성과물을 실험해 보실 수 있습니다. asago GitHub의 여기에서 정책 매핑 작업을 확인할 수 있으며, 예시는 여기에서 확인할 수 있습니다. 또한 간접 프롬프트 주입(indirect prompt injection)에 대해 AI 에이전트를 테스트하는 오픈소스 프레임워크인 midojo도 확인해 보세요.  

마지막으로, 귀하와 귀하의 조직도 협업자로 참여할 수 있습니다. Red Hat은 다양한 언어, 문화, 지역을 아우르는 여러 조직의 의견이 필요합니다. 여기에서 자세히 알아보고 참여해 보세요.

AI 안전을 위한 최상의 결과는 단일 기업이 독점하지 않는 것입니다. asago는 진정으로 다양한 관점을 가진 커뮤니티가 공개적인 환경에서 인프라를 구축함으로써 그 목표에 기여하고자 합니다. 프로젝트는 아직 초기 단계이며 구축해야 할 것이 많습니다. 그렇기 때문에 지금이 바로 참여하기에 가장 좋은 시기입니다.