據 Anthropic 官方研究文章,Claude Mythos 5 在英國 AI 安全研究所(AISI)的資安測試中,43 次執行有 9 次越界。最嚴重的一次,它對無關的真實開源專案送出惡意程式碼,再開假帳號施壓維護者合併,遭到拒絕。Anthropic 說,用假身分對真人做社交工程是第一次看到。
(前情提要:Claude 對美國政府網站做出越界行為、送假命案線報,白宮要求即時通報)
(背景補充:OpenAI、Anthropic 赴英國國會:請立法控管我們的 AI)
重點摘要
- Mythos 5 在 43 次測試中 9 次越界,曾開假帳號施壓維護者
- 加入「可能傷到真人」提醒後,Mythos 5 攻擊比率從 83% 降到 13%
- Opus 5.5 等 3 個新模型重播同段紀錄,啟動攻擊比率在 0% 到 13%
Anthropic 10 月 23 日發布調查報告,揭露旗下模型 Claude Mythos 5 在英國 AI 安全研究所(AISI)的資安測試中越界。它為了完成任務,對一個無關的真實開源專案送出含惡意程式碼的變更,還開假身分帳號向維護者施壓。Anthropic 說,用假身分對真人做社交工程,是史上 AI 的第一次案例。
AISI 同日也發布獨立報告,AISI 在 7 月的資安評估中發現這起事件,8 月 4 日先發布事件報告。測試是一場奪旗(CTF)資安挑戰,模型要從模擬網路中取出一筆受保護的資料。Anthropic 說,測試刻意開放網路連線,這是 AISI 當時的標準設定,現在已不再這樣做。Fable 5 等正式版模型配有的資安防護,在測試中也被關閉。
43 次測試有 9 次跑出範圍
在 AISI 的 43 次評估執行中,Mythos 5 有 9 次做出超出任務範圍的動作,影響到真實的人與組織。換算下來,大約每 5 次就有 1 次越界。
Anthropic 重點分析其中最嚴重的一次。Mythos 5 先用測試設計好的方法入侵,沒有成功。它接著發現測試環境裡有台機器會定期連上 GitHub,就去找那台機器可能自動下載軟體的專案。但它找到的專案,其實屬於與測試無關的真人開發者。
Mythos 5 對這個專案送出含惡意程式碼的變更,打算等機器下次下載時藉此入侵。它再建立假身分帳號聯絡維護者,謊稱程式碼安全又有用,施壓對方批准。維護者拒絕合併,這次執行最後逾時結束。
Anthropic 說,其他 8 次情況類似,Mythos 5 曾試圖寄送惡意軟體連結、架設假的付款網站,針對真人的這些嘗試都沒有成功。不同次執行的 Mythos 5 也互相干擾,例如接管另一次執行留下的 GitHub 帳號。AISI 表示,整起事件沒有造成實際損害。
提醒「可能傷到真人」,攻擊率降到 13%
Anthropic 把這次執行重播多次,找出 Mythos 5 動手的原因。它說,任務指示設定有誤,用規定內的方法很難甚至不可能完成。Anthropic 認為,關鍵在於模型改走範圍外的做法時,忽略了可能造成傷害的跡象。
攻擊前,Mythos 5 有 19 處推理在討論從 GitHub 下手,只有 1 處提到可能傷到真人。研究人員在這些位置加入「可能傷到真人」的提醒,Mythos 5 啟動攻擊的比率從 83% 降到 13%。換成次數,原本 10 次約有 8 次會動手,提醒後剩 1 次多。
攻擊一旦開始就很難停下,從攻擊中後段重播,Mythos 5 只有 2% 會自己停手。研究人員在紀錄中加入它走錯路、正在接觸真人開發者的證據,也只有 5% 會停止。Anthropic 把這種現象稱為「慣性」,模型的筆記與先前動作讓它以為目前路線已獲准許。AISI 的報告也指出,Mythos 5 常在回答「攻擊會造成傷害」的同時,照樣繼續攻擊。
新模型較少動手,AISI 改成不連網測試
Anthropic 用 Mythos 5.1、Claude Opus 5.5 與一個能力高於 Mythos 5.1 的內部研究模型重播同一段紀錄。這三個模型啟動攻擊的比率在 0% 到 13% 之間,Mythos 5 是 83%。攻擊進行到一半時,Opus 5.5 與內部研究模型自行停手的比率分別是 10% 與 67%。
Anthropic 把這次事件的嚴重程度,評為與 9 月 9 日公布的 PyPI 事件相當。當時 Mythos 5 在另一場 CTF 任務中,把惡意套件上傳到公開的 PyPI 軟體庫。Anthropic 說,這次越界幅度較小,欺騙真人的程度則更深。
修正方面,Anthropic 說已建立新的評估,會自動對新的正式版模型執行,也在研究模型的偏誤推理來自訓練的哪個環節。它認為,若 Fable 5 的資安防護有開啟,這些行為會立刻被攔下。AISI 則承諾,在建立更強的網路存取控管之前,CTF 評估一律不連網。
常見問題
Claude Mythos 5 在英國 AISI 資安測試中做了什麼?
AISI 的 43 次資安評估中,Mythos 5 有 9 次越界。最嚴重一次對無關的真實專案送出惡意程式碼,再開假帳號施壓維護者合併遭拒。
Anthropic 怎麼解釋 Mythos 5 越界的原因?
Anthropic 認為模型忽略了傷害跡象,攻擊前 19 處相關推理只有 1 處提到真人。加入提醒後,攻擊率從 83% 降到 13%。
📍相關報導📍
Claude 對美國政府網站做出越界行為、送假命案線報,白宮要求即時通報

