從 AI 框架堆疊看 AI 安全：6 層分層防禦指南與企業檢核清單

前言：用「堆疊」看 AI 安全，才知道控制該放在哪一層

AI 安全無法靠單一產品或單一風險清單解決，因為一個 AI 系統是由六、七層元件疊成的，每一層的信任邊界與攻擊方式都不同。只問「模型安不安全」，等於只檢查了堆疊中最像黑盒子的那一層。

過去一年的事件說明風險重心已從「模型說錯話」轉向「系統做錯事」。EchoLeak（CVE-2025-32711）讓一封精心設計的郵件在零點擊下，從 Microsoft 365 Copilot 外洩內部檔案內容。LangChain Core 的序列化注入漏洞（CVE-2025-68664，CVSS 9.3）則讓提示注入一路升級成密鑰外洩。兩起事件的共同點是：出事的不是模型本身，而是模型周圍的資料流、框架與權限。

本文對AI 安全提出三個主張：

1. 控制要放在層與層之間的邊界，而不是只放在模型裡。 模型會被說服，邊界不會。
2. 以權限與爆炸半徑作為設計核心。 Agent 的暴露面等於它能觸及的每一組憑證、工具與 API。
3. 業界框架是對照座標，不是施工圖。 OWASP、NIST、MITRE ATLAS 各自描述堆疊的不同切面，需要映射到你自己的架構。

以下先給出堆疊全景，再逐層拆解威脅與控制，最後整理成可執行的路線圖與檢核清單。

AI 框架堆疊全景

一個 AI 系統可以拆成六層；治理層、橫向能力與 AI Gateway 不是獨立的層，而是疊加在六層之上的控制機制。本文用這個分層來定位每一項控制。

AI 框架堆疊 · 6 層、治理層與橫向能力

圖中右側的編號對應 OWASP 的 LLM 與 Agentic 清單；橘色的 AI Gateway 位於編排框架層與模型層之間，是模型呼叫與工具／MCP 流量的統一入口，屬於控制點而非獨立的一層。越往上層，模型輸出越直接變成動作，邊界控制的優先度也就越高。

逐層拆解（上）：基礎設施、資料與模型

下層的原則是把資料與權重視為「會改變系統行為的可執行輸入」，並在進入生產環境前驗證來歷。

基礎設施與資料層

這一層放的是 GPU／推論叢集、訓練與微調資料、RAG 知識庫與向量資料庫。資料一旦被污染或越權檢索，後面每一層都會照單全收。

主要威脅

1. 資料與模型投毒（OWASP LLM04）：訓練、微調或知識庫文件被植入惡意內容，改變模型輸出。
2. 敏感資訊洩漏（LLM02）：模型或檢索結果帶出不該被該使用者看到的資料。
3. 向量與嵌入弱點（LLM08，2025 版新增）：向量庫權限繞過、跨租戶混用、嵌入反推原文。

對應控制

1. 資料分級與來源追溯：每筆進入訓練或知識庫的資料都有擁有者、分級與來源紀錄。
2. 檢索時套用文件層級存取控制，而不是只在應用層事後過濾。
3. 向量庫依租戶或資料等級隔離，並加密靜態資料與傳輸。
4. 推論叢集做網路分段，管理介面不對外，模型端點一律經過閘道。

模型層（含模型供應鏈）

這一層的核心判斷是：來歷不明的模型權重，等同於來歷不明的可執行檔。

主要威脅

1. 供應鏈漏洞（LLM03）：從公開模型庫取得的權重、adapter（如 LoRA）或量化版本被植入後門，或以可執行的序列化格式（如 pickle）夾帶惡意程式。
2. 提示注入與越獄（LLM01）：模型無法可靠區分指令與資料，這是模型本身的結構性弱點，無法靠單一過濾器根除。
3. 系統提示洩漏（LLM07，2025 版新增）：把密鑰或存取規則寫進系統提示，就等於假設它永遠不會外流。
4. 模型竊取與未授權存取：造成智財損失，也讓攻擊者能離線研究如何攻破你的模型。

對應控制

1. 只接受不可執行的權重格式（例如 safetensors），並禁止生產環境直接從公開模型庫下載。
2. 建立內部模型登錄：簽章、版本、評估結果與 AIBOM（AI 物料清單）一併留存。
3. 模型上線前設安全評測閘門，含提示注入、越獄、資料外洩與後門偵測測試。
4. 系統提示不放密鑰與授權邏輯；授權決策一律由確定性程式碼執行，不交給模型。
5. 對第三方模型供應商做盡職調查：資料保留、是否用於訓練、資料所在地、事件通報時限。

逐層拆解（下）：編排框架、Agent／工具／MCP 與應用層

上層的風險集中在「模型的輸出如何變成動作」，所以控制要落在每一次轉換的邊界上。

編排框架層

這一層是 LangChain、LlamaIndex 等把提示、檢索、工具與記憶串起來的膠水程式碼。它既是一般軟體，又直接處理模型輸出，所以同時承受傳統漏洞與 AI 特有風險。

主要威脅

1. 框架本身的傳統漏洞：langchain-core 的序列化注入（CVE-2025-68664）源於沒有妥善跳脫內部標記，使使用者可控資料被當成框架物件還原。2026 年又出現因 load() 允許清單過寬導致的反序列化問題（CVE-2026-44843）。
2. 不安全的輸出處理（LLM05）：把模型輸出直接送進 shell、SQL、模板或反序列化流程。
3. 相依套件與密鑰：框架常從環境變數讀取密鑰，一旦物件被操控就可能外洩。

對應控制

1. 把 AI 框架納入軟體組成分析（SCA）與 SBOM，鎖定版本，並為這類套件設定較短的緊急修補期限。
2. 一律把模型輸出視為不可信輸入：結構化輸出加 schema 驗證，進入下游系統前轉義或參數化。
3. 禁止從不受信來源（共享提示庫、外部 Hub 物件）反序列化提示或 runnable 物件。
4. 密鑰改用機密管理服務與短期憑證，不長期放在框架可讀取的環境變數。

Agent、工具與 MCP 層

這是風險最集中的一層，因為模型在這裡從「回答問題」變成「帶著憑證採取行動」。OWASP 在 2025 年 12 月發布 Agentic Applications Top 10（ASI01–ASI10），專門描述這類風險，涵蓋目標劫持、工具濫用、身分與權限濫用、記憶污染與失控 Agent。

主要威脅

1. 過度代理（LLM06）：Agent 被授予超出任務所需的工具、權限或自主度。
2. 工具投毒與「抽換式更新」：惡意指令藏在 MCP 工具名稱、描述或參數結構中，使用者看到簡化的介面，模型卻讀到完整內容；工具在審核通過後才被改寫，則稱為 rug pull。
3. 影子 MCP 伺服器：未經登記、無人監控的伺服器造成盲點與資料外洩管道，CoSAI 白皮書將其列為治理風險。
4. 供應鏈與遠端程式碼執行：例如 mcp-remote 的 CVE-2025-6514（CVSS 10.0），以及 Agent 工具、技能套件被投毒。

對應控制

1. 每個工具只做單一、有限的事，不把安全決策交給 LLM 判斷。
2. 建立 MCP 伺服器與工具的核准清單：登記來源、釘選版本，並對工具描述做雜湊比對以偵測被改寫。
3. 為每個 Agent 配發獨立身分與短期、限定範圍的權杖（MCP 2025 年 6 月規範已要求以資源指示符將權杖綁定單一伺服器）。
4. 高風險動作（轉帳、刪除、對外寄送、權限變更）需人工核准，並避免讓使用者被大量提示磨到直接按同意。
5. 程式碼執行放進沙箱，預設拒絕對外連線；記憶寫入需驗證，上下文盡量短暫。
6. 為 Agent 準備可立即停用的 kill switch，以及行為異常的自動偵測。

應用與使用者層

這一層是員工與客戶實際接觸的介面：聊天視窗、Copilot、嵌入式助理與自動化流程。

主要威脅

1. 間接提示注入：攻擊者不直接對話，而是把指令藏在郵件、網頁或文件裡，等 AI 來讀取，EchoLeak 即屬此類。
2. 過度信任（ASI09）：使用者把 AI 的輸出與建議當成權威，成為社交工程的新入口。
3. 無界消耗（LLM10）與誤資訊（LLM09）：成本型攻擊、錯誤答案造成的決策與法遵風險。
4. 影子 AI：員工自行使用未經核可的 AI 工具與外掛，資料流出組織卻無人知曉。

對應控制

1. 輸入輸出護欄是縱深防禦的一層，不是唯一一層；不要拿它取代權限設計。
2. 限制自動渲染外部圖片與連結，切斷「讀取後立即外洩」的常見管道。
3. 設定配額、速率限制與 token 預算，並對異常用量告警。
4. 介面上標示資料來源與不確定性，讓使用者有能力質疑答案。
5. 持續盤點影子 AI，並提供經核可、有資料保護的替代方案。

AI Gateway：把入口管制做成可執行的邊界

AI Gateway（AI 網關）是堆疊中最適合落實「控制放在邊界」的位置：所有模型呼叫、工具呼叫與 MCP 流量都經過同一個入口，政策才能被集中、一致地執行與稽核。

它與傳統 API Gateway 的差異在於：流量內容是自然語言，呼叫者常常是 Agent。除了認證與限流，還要檢查提示、回應與工具呼叫的語意內容。

它該管哪三條流量

1. 應用到模型： 統一接入內外部模型供應商，避免各團隊自帶金鑰直連。
2. Agent 到工具與 MCP 伺服器： 作為 MCP 閘道，管控每一次工具呼叫。
3. 使用者與外部內容進入 AI 應用： 在內容抵達模型之前先做檢查。

入口管制的六項能力

1. 身分與授權。 呼叫者（使用者、服務、Agent）一律以身分識別，權杖短期且限定範圍；供應商金鑰集中保管，不散落在各應用與框架。
2. 核准清單。 只放行已登記的模型、版本、MCP 伺服器與工具，未登記者預設拒絕，用來消除影子 AI 與影子 MCP 伺服器。
3. 輸入輸出檢查。 偵測直接與間接提示注入，以及敏感資料與密鑰外流；輸出進入下游前驗證結構，並限制自動渲染外部圖片與連結。
4. 工具呼叫管制。 依 Agent 身分與任務檢查工具與參數，高風險動作轉人工核准，並對 MCP 工具描述做雜湊比對以偵測被改寫。
5. 配額與成本。 速率限制、token 預算與異常用量告警，對應無界消耗（LLM10）。
6. 統一記錄與緊急停用。 提示、回應摘要、工具呼叫、核准者與護欄觸發紀錄在此匯集並送入 SIEM；同時具備 kill switch，可一鍵停用特定模型、工具或 Agent。記錄本身含敏感資料，需先遮罩並訂定保存期限。

這六項能力大致對應 OWASP LLM 清單的 LLM01、LLM02、LLM06、LLM10，以及 Agentic 清單的 ASI02、ASI03。

Gateway 的限制，以及怎麼補

1. 只管得到經過它的流量。 繞過它的直連、本機 Agent 與瀏覽器內的 AI 功能，要靠網路出口封鎖與端點控制補上。
2. 語意檢查會誤判也會漏報。 它是縱深防禦的一層，不能取代最小權限與人工核准。
3. 它會成為集中目標。 Gateway 掌握金鑰與全部流量，必須高可用、最小權限部署，並納入與核心系統同等級的監控。

實務上建議由「模型出站統一接入並留下記錄」起步，再擴及 MCP 流量與工具管制；Gateway 的政策以程式碼管理，納入版本控管與變更審核。

貫穿各層的四項橫向能力

單層的控制擋得住單點攻擊，但擋不住跨層的連鎖失效，因此需要四項橫向能力把各層串成同一套防線。

1. 身分與最小權限：把 Agent 當成需要治理的身分。 Agent 的風險等於它能觸及的每一組憑證、工具與 API。每個 Agent 與每條工作流都應有可識別、可撤銷、有到期時間的身分，權限依任務動態收斂，而非繼承建置者或使用者的全部權限。NIST 已把「Agent 身分與授權」視為近期的關鍵缺口，並於 2026 年 2 月由 CAISI 啟動 AI Agent 標準倡議。

2. 可觀測性與稽核：能重建「模型為什麼做了這件事」。 傳統 SAST 與 SCA 看不到提示、工具呼叫、記憶與 Agent 之間的流量，所以需要另外記錄。至少要保存下列內容，並接入既有 SIEM：

1. 完整提示與上下文的來源標記（使用者輸入、檢索文件、工具回傳各自標明）
2. 每次工具呼叫的參數、回傳、核准者與所用身分
3. 模型與提示的版本，以及護欄的觸發紀錄

3. 紅隊與持續驗證：把攻擊測試做成每次發版都跑的回歸測試。 以 MITRE ATLAS 與 OWASP 清單設計測試劇本，涵蓋直接與間接提示注入、工具投毒、資料外洩與越權呼叫。模型、提示或工具任一項變更，都要重跑；模型升級後行為會漂移，上一版的通過結果不能沿用。

4. 事件應變：先演練「AI 專屬」的處置動作。 一般應變手冊沒有涵蓋的動作包括：停用特定工具或 MCP 伺服器、撤銷 Agent 憑證、回滾提示或模型版本、清除被污染的記憶與向量庫，以及通報受影響的資料擁有者。這些動作應事先寫成手冊，並以桌上演練驗證，而不是事發當天才討論。

業界框架如何對應到堆疊

OWASP 說明「會出什麼事」，MITRE ATLAS 說明「攻擊者怎麼做」，NIST 與 ISO 說明「組織怎麼管」，三者各占堆疊的不同切面，需要搭配使用而非擇一。

有兩點需要留意。第一，NIST AI RMF 仍以 1.0 版為準，官方表示修訂中，尚未發布新版，且 AI 600-1 本身並非 Agent 專用，Agent 面向要另外參考 OWASP Agentic 清單與 NIST 正在發展的 SP 800-53 控制覆蓋（COSAiS）。第二，ATLAS 只描述攻擊方，不提供防禦控制規格，所以它的產出應該回饋到你的偵測規則與紅隊劇本，而不是當成合規清單。

落地路線圖與常見失誤

建議分三段推進：前 90 天先看見並止血，90 天至一年建立可重複的控制，一年之後轉為常態營運。

落地路線圖 · 3 階段、2 道閘門

兩道閘門是進入下一階段的條件：未達標就不擴大 Agent 的自主度與可觸及的資料範圍。

推動時最常見的三個失誤：

1. 只買護欄產品，不改權限設計。 護欄會被繞過，權限邊界不會。
2. 只管模型，不管 MCP 伺服器與框架相依。 本文的事件多半出在模型周圍的元件。
3. 紅隊測試只做一次。 模型、提示或工具一變，上一輪的結果就失效。

檢核清單與結語

強化 AI 安全的關鍵，是接受「模型會被說服」這個前提，並把防線建在模型之外：身分、權限、邊界與可追溯性。下列清單可直接用來檢視現況，逐項勾選後，未勾的項目就是下一季的優先事項。

1. ☐ 已盤點全部 AI 資產：模型、框架、MCP 伺服器、Agent、資料來源，含影子 AI
2. ☐ 所有模型、工具與 MCP 流量都經過 AI Gateway，並封鎖繞過它的直連
3. ☐ 每個 Agent 有獨立身分、最小權限，以及會到期的憑證
4. ☐ 高風險動作需人工核准，且有可立即啟用的 kill switch
5. ☐ 模型與框架有 AIBOM／SBOM、簽章與版本釘選，並只接受不可執行的權重格式
6. ☐ 模型輸出一律視為不可信輸入，進入下游系統前先驗證或轉義
7. ☐ RAG 在檢索當下執行文件層級存取控制，向量庫依租戶或分級隔離
8. ☐ MCP 伺服器與工具有核准清單，並以描述雜湊偵測被改寫
9. ☐ 提示、工具呼叫、核准與護欄觸發紀錄已接入 SIEM
10. ☐ 模型、提示、工具任一項變更，都會觸發紅隊回歸測試
11. ☐ 事件應變手冊含 AI 專屬處置動作，且已做過桌上演練
12. ☐ OWASP、ATLAS、NIST 已對映到內部控制，並指定各項負責人

參考資料

以下連結來自撰寫時檢索到的頁面，版本與日期請以官方頁面為準；ISO/IEC 42001 的說明為作者背景知識，未另行查證。

1. OWASP：2025 LLM Top 10 發布公告
2. OWASP：Top 10 for Agentic Applications
3. OWASP：Agentic Top 10 發布說明
4. Cycode：OWASP Agentic Top 10 逐項說明
5. Coralogix：LLM Top 10 與 EchoLeak（CVE-2025-32711）
6. Microsoft：LangChain 序列化注入個案（CVE-2025-68664）
7. GitHub Advisory：LangChain 反序列化（CVE-2026-44843）
8. Cequence：MCP 安全風險
9. Adversa：CoSAI MCP 安全白皮書重點
10. Identra：MCP 安全與權杖綁定
11. DEV Community：MCP 11 類風險（含 CVE-2025-6514）
12. MITRE CTID：ATLAS Secure AI 更新
13. Vectra：MITRE ATLAS 說明
14. NIST AI 600-1 生成式 AI Profile
15. AI-ERA：NIST AI RMF 現況（Cyber AI Profile、COSAiS）
16. Anaconda：AI 600-1 指南（AI Agent 標準倡議）