asago 簡介：開放原始碼人工智慧 (AI) 安全與治理調度

Red Hat 於今日宣布 asago，這是一項與 Alquimia AI、Brave Software、EvalEval 聯盟、IBM Research、奧地利跨領域轉型大學 (Interdisciplinary Transformation University Austria)、Microsoft、麻省理工學院林肯實驗室 (MIT Lincoln Laboratory)、北卡羅來納州立大學 (North Carolina State University)、NVIDIA 及 The Alan Turing Institute 合作的開放原始碼人工智慧 (AI) 安全專案。在這篇部落格文章中，我想花點時間進一步闡述我們為何認為有必要建立一個新社群、我們的目標，以及目前的推動進展。

開放原始碼人工智慧 (AI) 安全生態系統非常豐富。在防護欄 (guardrails)、評估 (evals)、紅隊演練 (red teaming) 及代理式安全性 (agentic security) 等領域中，有許多優秀且成熟的專案，並輔以全方位的風險架構、本體論 (ontologies) 與對應關係 (mappings)。這些都是需要持續開發的重要專案。在 Red Hat，我們的 AI 安全團隊與許多此類上游社群合作並做出貢獻，且我們未來也會繼續這麼做。

企業在 AI 安全方面的其他挑戰

然而，當您觀察典型的企業組織時，會發現除了這些工具外，他們還面臨其他挑戰。在檢視導入新的（可能是自訂開發的）AI 代理程式之流程時，會涉及現有工具無法觸及的更多專案關係人、資產與程序。

導入新的代理程式通常遵循以下路徑：

• 政策制定：團隊會產出書面政策文件，編碼組織的人工智慧 (AI) 規範 (dos and don'ts)，通常會參考《歐盟人工智慧法》(EU AI Act) 等外部法規，有時會輔以特定使用案例的限制（例如：針對面對客戶的代理程式制定更嚴格的規則）。
• 風險擷取：必須有人閱讀這些文件，並識別其中包含哪些理論風險。
• 風險分類：在這些理論風險中，必須有人決定哪些適用於此特定代理程式，以及哪些是可以實際測試的技術風險。
• 情境生成與紅隊演練：技術團隊接著必須為這些風險建立測試情境，並透過現有的紅隊演練架構執行。
• 迭代：接著會解讀結果、套用防護欄或其他修正，並重新測試代理程式，直到可以部署為止。如果流程是手動的，每次都會增加重大負荷。

此程序會導致核准速度緩慢且稽核軌跡中斷，使得難以向內部或外部稽核員證明實際執行了哪些工作。

asago 旨在透過協作解決這些問題

asago 專案旨在緩解這些痛點。我們希望協助組織從制定 AI 政策轉向正式生產環境，而無需成為人工智慧 (AI) 安全專家。重要的是，我們的目標並非取代現有的 AI 安全工具，而是作為一個調度層，將生態系統組件連接在一起。我們會在現有的最佳工具中進行整合，並在工具缺乏之處填補空白。

當然，這必須是一個協作過程。我們不認為單一組織能夠或應該獨自完成這項工作。由於政策文件、模型與代理程式類型、部署情境、監管背景等範圍極廣，像這樣的專案需要多元的觀點——多元專業知識是不可或缺的。

這就是為什麼我們擁有一群優秀的初期合作夥伴，代表著技術公司、研究機構、社群聯盟和政府組織。我們不僅會共同編寫程式碼，還會確保提出並回答正確的問題。作為一個全球社群，我們需要確保在語言和地理區域上具有充足的代表性。我們將與美國、英國和歐洲的合作夥伴共同啟動，並強烈鼓勵更多合作夥伴加入，透過下方的連結來擴大涵蓋範圍。

不斷演進的技術架構

技術架構會隨著專案演變，但這是我們的初步想法。流程分為兩個部分：

圖一：藍色節點代表資料。黃色節點代表功能元件。

從政策文件到情境

在第一個部分中，系統會從政策文件中擷取風險，並對應至 IBM Risk Atlas。這些風險索引於風險卡 (risk card) 中，代表該政策涉及的所有理論風險。其中部分是可以使用 asago 自動化並解決的技術風險。完成此工作的主要元件是政策對應器 (policy mapper)。

下一個挑戰是建立正確的情境來推動紅軍演練 (red teaming)。這目前尚未針對特定程式庫，但情境產生器 (scenario generator) 的工作是針對已識別的風險，評估相關代理程式 (agent) 的細節，並考慮需要哪種類型的測試和支援背景。這些就組成了情境。在此流程階段，我們已擁有一組情境，可針對組織政策背景下的特定代理程式進行評估與防禦。

圖二：藍色節點代表資料。黃色節點代表功能元件。

透過紅軍演練 (red teaming) 實現從迭代情境到建議的轉換

在第二個部分（即迭代循環）中，我們採用這些情境，並為相關的紅軍演練 (red teaming) 和/或評估架構產生執行構件 (run artifacts)。這就是資料驅動方法的起點。EvalHub 將會針對相關情境，使用合成產生的資料集與環境來觸發熱門的評估與紅隊 (red teaming) 框架。

這些結果會傳遞至推薦程序，以便為紅軍演練失敗提供候選修正方案。我們設想了一系列靈活的建議，從護欄 (guardrails) 開始，但可能會演進到整個堆疊中的其他元件。重要的是，這些元件具備可部署性（例如透過 Kubernetes 自訂資源 (CRs) 或 ConfigMap）與可重複測試性。

請注意，這僅是初步架構。隨著社群演進，此架構也會隨之調整。

您現在可以做些什麼？

雖然我們今日發布的內容重點在於社群的發展藍圖與路徑，但開發工作目前正積極進行中，您現在即可開始體驗我們的成果。在 asago GitHub 上，您已經可以在 此處查看政策對應工作，相關範例請見 此處。您也可以查看 midojo，這是一個針對人工智慧 (artificial intelligence，AI) 代理進行間接提示注入安全性測試的開放原始碼框架。  

最後，歡迎您與您的組織加入我們的合作行列。我們需要許多組織提供建議，特別是具有不同語言、文化與地理區域代表性的意見。請造訪 此處 以了解更多資訊並參與其中。

人工智慧 (AI) 安全最理想的成果，是沒有任何一家公司能獨自掌控。asago 是我們為達成此目標所做的貢獻，其基礎架構由具備真正多元觀點的社群以開放方式建置。此專案仍處於早期階段，仍有許多項目尚待建構。這正是現在參與的理想時機。