•
4 min read

Intelligence Is Not Authority: Designing the Trust Boundary for Agentic AI

Table of Contents

從 Satya Nadella 的 Insider Risk 論述,到 Agent Identity、Delegation 與 Independent Control Plane

Intelligence proposes. Authority permits. Infrastructure enforces.

上一篇把 agent identity 分成四個問題來看 — 是誰連進來的、這是哪個程式、它代表誰、這次動作核不核准 — 然後在最後特別指出幾個這套機制解決不了的現況:token 被偷走還是能用、task 跑到一半權限過期、audit log 是 agent 自己寫的、以及整件事還沒有統一標準。

這篇從那些現況邊界接續下去。問題從「一次 tool call 該驗什麼」換成「負責驗的那一層該放在哪裡,以及為什麼它不能被 agent runtime 控制」。

當模型開始擁有真正的執行能力

Satya Nadella 在〈Models as Insider Risks in the Super Intelligence Era〉提出這個值得注意的安全問題:企業正在讓難以完整解釋的模型,存取敏感資料並執行關鍵操作。這裡引用的是文章的主題;下面談到的系統設計是我個人的心得以及工程推論,不是 Satya 提出的產品藍圖。

傳統軟體不見得如同他所說的那樣容易 Debug,分散式系統尤其如此。但 LLM 的決策無法簡單歸因到一條人類撰寫的 Code Path。當系統從 Chatbot 進化成可以部署程式、重啟服務、修改資料庫的 Agent,風險也從「錯誤回答」升級成為「真實的系統副作用」。

把 Agent 視為 Insider Risk 是滿不錯的架構類比:不需要假設 Agent 具有惡意,也不應以「模型會正確行事」作為授權前提。這讓 Least Privilege、Separation of Duties、Audit、Revocation 和 Containment 變得格外重要。模型與人類內部人員仍有本質差異,因此不能完全套用所有 Insider Risk 管理方法。

核心分離:Execution Plane 與 Authority Control Plane

Agent Execution Plane and Independent Authority Control Plane

Figure 1 — Agent Runtime 提出操作,Tool Gateway 在執行邊界向獨立 Authority Services 驗證。橘色虛線表示授權互動,而非所有流量必須依序穿過 Control Plane。

Agent Execution Plane 負責 Planner / LLM、State / Context、Executor 與 Checkpoint。它描述並且管理 Agent 如何完成工作,卻不應有能力自行創造或擴張權限。

Independent Authority Control Plane 負責 Identity、Delegation、Policy、Credential Brokering、Approval、Audit 與 Revocation。獨立是一個重要的安全性質,而不一定是部署形式:可以共用基礎設施,但不能讓模型控制的元件繞過或竄改 Enforcement。

這裡有個值得注意的地方:Tool Call 的正常資料路徑是 Runtime → Tool Gateway → Target API。Gateway 向 Authority Services 取得授權決策;Authority Control Plane 並不是每一個 Tool Call 的資料轉發中繼站。

Identity 不等於 Authority

在我的 Agent Identity Primer 中提到,最重要的問題不是「Agent 叫什麼名字」,而是「誰授權這個 Agent、在什麼時間、對哪個 Resource 做什麼?」

假設 Agent 產生:

{"tool":"reboot_device","resource":"device-123","requested_by":"alice"}

即使 Policy Engine 能正確判斷 alice 是否有權重啟設備,仍然要查驗**alice 是從哪裡來的?** 如果這個值是來自 LLM 可控制的 Context,所謂的安全決策就是建立在不可信的輸入上。

需要明確區分 Human Identity、Agent / Workload Identity、Delegated Authority 與 Per-action Authorization。Agent 可以證明自己是哪個 Workload,並不等於可以繼承使用者的所有權限。

Agent Identity and Delegation

Figure 2 — Credential Broker 驗證委派與 Scope,產生受限制的執行能力;Tool Gateway 在敏感操作前再次驗證。圖示為邏輯互動,而非特定 OAuth 流程。

實務上可使用 Scoped、Short-lived Credentials、Token Exchange、Broker-managed Sessions 或 Capability-based 授權。關鍵不在單一 Token 格式,而是讓 Authority 具有可信來源、明確的 Resource / Action / Audience / Lifetime 限制,並可在需要時撤銷或重新驗證。

Identity proves who is acting. Delegation establishes on whose authority. Authorization decides whether this action is allowed.

Policy Enforcement 必須發生在真正的執行邊界

Tool Boundary Enforcement

Figure 3 — Planner 階段的檢查不足以保護 Production。每次敏感 Tool Invocation 都必須建立在可信的 Enforcement Point 驗證之上。

只在 Planner 階段檢查權限,容易因計畫變更、重試、其他 Tool Path 或直接呼叫 SDK 而失效。真正的 Enforcement 應該發生在 Side Effect 產生之前,並依操作風險重新驗證 Caller、Delegation、Resource Scope、Approval 和 Limits。

但 MCP Tool Gateway 並非唯一邊界。若 Agent 可以執行 Shell、使用 Cloud SDK 或持有其他憑證,仍需要 Cloud IAM、Network Policy、Secrets Controls 與 Target-side Authorization,避免 Bypass Path。

Observability 不是 Interpretability

即使我們記錄 Prompt、Model Output、Tool Calls、Policy Decisions 與執行結果,也不能代表我們已經完整解釋模型內部的決策機制。但 Production Security 不需要等到 Mechanistic Interpretability 完全成熟,才能先做到 Execution Traceability。

重要的是要能回答這幾個問題:誰發起任務、哪個 Agent 執行、哪一次 Delegation 提供權限、哪個 Policy 允許操作、哪個 Tool 造成副作用,以及如何驗證結果。

Satya 的討論也提醒我們要建立獨立控制、可驗證性、稽核與事故處置機制。但具體架構仍需根據風險、系統邊界與組織責任設計,而不能把某一份高層原則當作完整的 Reference Architecture。

Kill Switch 不等於 Containment

停止 Agent 無法收回已外洩的 Secrets,也無法自動逆轉資料刪除或已發送的外部操作。真正的 Containment 要涵蓋三個階段:執行前縮小 Blast Radius、執行中監控與中斷、執行後復原與稽核。

Long-running Agents 還有額外問題:如果使用者在 Task 進入 Queue 後撤銷權限,Worker 恢復執行時是否需要重新驗證?答案取決於授權模型與操作語義,但不能只靠最初取得的長期 Credential。Durable Execution 必須搭配 Durable Authorization Semantics,考慮 Revocation Propagation、TOCTOU、Idempotency 與 Compensating Actions。

Identity 也不能保證 Intent

即使 Alice 真的有授權 Agent 重啟 Device A,Agent 仍可能受 Prompt Injection 或錯誤 Context 影響,在合法 Scope 內執行不合適的操作。這表示 Verifiable Delegation 是必要條件,卻不是 Agent Safety 的全部。高風險操作還可能需要 Transaction-specific Approval、Semantic Validation 與 Impact-aware Controls。

同樣地,外部 Policy Engine 也可能配置錯誤;需要 Policy Tests、Threat Modeling、Red Teaming 和獨立的稽核流程。

此外,我在閱讀 Satya 的 tweet 會自然而然想到:Microsoft 對 Identity、Security、Governance 和 AI Platform 的商業投入,與 Insider Risk 敘事確實有產品上的相容性。這值得在評估其建議時納入考慮,但不能單憑商業誘因否定架構主張。

Conclusion — Intelligence Is Not Authority

未來 Agent Infrastructure 的核心挑戰,不只是讓 Agent 更聰明,而是讓企業在不必完全信任模型行為的前提下,仍能安全地授予它真實世界的執行能力。

Agent Runtime 應該擅長 Planning、State Management 和 Durable Execution;Authority Infrastructure 則應提供可信的 Identity、Delegation、Scoped Credentials、Independent Enforcement、Audit 和 Revocation。兩者可以緊密整合,但需要確保安全邊界不能被模型自行跨越。

Intelligence proposes. Authority permits. Infrastructure enforces.


References

All diagrams and implementation recommendations here are independent engineering interpretations, not representations of a vendor-prescribed architecture.