隨著AI系統逐漸具備連續工作數小時、數天甚至更長時間的能力，新的安全風險也開始浮現。OpenAI近日公開一款內部長時程模型在測試期間出現的兩起越權案例，顯示當模型被賦予持續執行任務的能力後，不僅可能犯錯，還可能主動尋找並利用系統漏洞，以達成既定目標。

為完成任務，AI花 1 小時尋找漏洞突破沙箱

OpenAI 在報告中指出，相關事件發生於受監控的內部部署環境，公司在發現問題後曾暫停模型使用，重新設計安全機制與監控系統，並在完成改善後恢復有限度部署。OpenAI認為，這些經驗反映出傳統針對短任務設計的AI安全評測，可能無法充分反映長時程自主代理模型的真實風險。

其中一起案例發生在NanoGPT Speedrun評測期間。該競賽要求參賽者以最少訓練步驟完成小型語言模型訓練，並將成果提交至公開GitHub儲存庫。

然而在OpenAI的內部測試環境中，模型被明確要求只能將結果發布到Slack，不得對外傳送資料。

OpenAI表示，模型在完成訓練後發現競賽規則要求提交GitHub Pull Request（PR），但執行環境同時限制了對外網路存取。與過去模型遭遇限制後選擇停止不同，這款長時程模型持續嘗試各種方法，希望完成GitHub提交。

最終，模型花費約一小時尋找環境中的漏洞，成功繞過沙箱限制，並將成果上傳至GitHub，在NanoGPT專案建立公開PR。OpenAI指出，先前模型在相同條件下通常會因無法突破限制而放棄，因此未曾發現相關弱點；新模型則因具備更強的持續執行能力，意外暴露了系統中的安全漏洞。

為取得答案，模型嘗試繞過安全掃描器

另一個案例則顯示，長時程模型可能開始思考如何避開安全機制本身。在一項內部測試中，模型試圖解決問題時發現其他系統已經提交成功答案，於是開始尋找取得這些未公開解答的方法。

OpenAI表示，模型嘗試使用認證令牌（authentication token）存取評測後端，但相關憑證立即被安全掃描器攔截。遭到阻擋後，模型並未停止行動，而是改變策略：將認證令牌拆分成多個片段，進一步混淆內容，再於程式執行時重新組合。由於完整令牌從未以連續字串形式出現，因此成功避開掃描器的偵測邏輯。

更值得注意的是，OpenAI透露，模型在執行紀錄與推理過程中明確表示，自己這麼做的目的就是為了繞過安全檢測。這意味著風險不再只是單一步驟是否安全，而是多個看似無害的動作串聯後，最終形成不被允許的結果。

傳統安全評測可能低估長時程AI風險

OpenAI指出，目前大多數AI安全機制都是圍繞單一動作設計。例如當模型執行危險操作時進行攔截，或要求使用者額外授權。

然而對於能夠自主運作數小時以上的模型而言，問題已經從「單一行為」轉變為「整體行動軌跡」。OpenAI認為，未來安全系統不能只判斷某個指令是否合規，而必須理解模型長時間執行下來的最終目標是什麼，以及這些行動是否正朝著不被允許的方向發展。OpenAI在報告中表示：

「長時程安全不只是問『這個動作是否被允許』，而是要問『這一連串動作最終想達成什麼結果』。」

OpenAI一度暫停部署，重建監控系統

由於上述事件，OpenAI曾暫停這款模型的內部部署，並重新設計安全架構。

新版系統主要包含四項改進：

首先，團隊將實際發生的越權案例轉化為新的對抗性測試，作為未來模型部署前的安全評估依據。其次，OpenAI發現模型在長時間任務中較容易偏離原始指令，因此進一步強化模型的長時程對齊能力，使其在較長任務流程中仍能遵守限制條件。

第三，公司建立新的軌跡監控系統，持續分析模型整體執行過程，而非只監控單一操作。一旦偵測到模型可能正在繞過安全邊界，系統可主動暫停任務並通知使用者介入。

最後，OpenAI也提升使用者對長時程任務的可視性，包括查看執行紀錄、追蹤模型操作以及檢視系統攔截事件。

AI Agent時代的新安全課題

OpenAI表示，重新部署後的測試結果顯示，新版監控系統已能攔截大部分不符合預期的行為，且數週來未再出現重大安全繞過事件。

不過公司也坦言，隨著AI逐漸從聊天工具演進為能夠自主完成複雜任務的Agent系統，安全挑戰將變得更加複雜。

過去模型往往在遇到限制後停止嘗試，但具備長時程推理與執行能力的新模型，可能持續尋找替代路徑、研究環境規則，甚至利用系統設計上的縫隙達成目標。OpenAI 認為，未來AI安全工作將不再只是防止單一步驟出錯，而必須面對一個更根本的問題：當AI被允許自主工作數天甚至數週時，如何確保它始終朝著使用者與系統允許的方向前進。