以太坊(Ethereum)創辦人 Vitalik Buterin 表示,單純使用 AI 來進行治理是一個壞主意,AI 始終需要人類提供糾錯機制。
(前情提要:當按讚、留言都成 AI 主導,人際互動失效的「死寂網路理論」將成真?)
(背景補充:Vitalik長文:當開源成為主流,我為何拋棄寬鬆許可擁抱 copyleft?)
隨著人工智慧(AI)技術快速發展,其安全隱患也日益凸顯。今(13)日,X 平台用戶 Eito Miyamura 就發文揭露了一項嚴重安全隱患,指出 AI 雖然聰明,卻可能以極其簡單愚蠢的方式被欺騙和釣魚攻擊,從而洩漏用戶私人資料。他舉例指出,OpenAI 近日為 ChatGPT 新增了對 MCP(模型上下文協議)工具的完整支援後,僅需受害者的電子郵件地址,就能成功竊取所有私人資訊:
「我們讓 ChatGPT 洩漏了你的私人電子郵件資料。只需要什麼?受害者的電子郵件地址。」
他進一步解釋,週三 OpenAI 在 ChatGPT 中新增了對 MCP 工具的完整支援,允許 ChatGPT 連接到並讀取用戶的Gmail、日曆、Sharepoint、Notion 等應用程式。然而,這從根本上帶來了問題:像 ChatGPT 這樣的 AI 代理會嚴格遵循用戶指令,而非依據常識判斷。
Miyamura 描述了其攻擊流程:僅用受害者的電子郵件地址,攻擊者即可發送一個帶有「越獄」(jailbreak)提示的日曆邀請,無需受害者接受邀請。接著,當用戶要求 ChatGPT 查看日曆以協助準備當天行程時,ChatGPT 會讀取該帶有越獄指令的日曆邀請。此時,ChatGPT 已被攻擊者劫持,將按攻擊者的指令行事,搜尋受害者的私人電子郵件並將資料發送到攻擊者的電子郵件地址。
雖然目前 OpenAI 僅在「開發者模式」中啟用了 MCP,且每個會話都需要人工手動批准,但 Miyamura 警告,決策疲勞是真實存在的,普通用戶往往會不假思索地信任 AI,連續點擊「批准、批准、批准」。他強調:
「請記住,AI 可能非常聰明,但也可能以極其愚蠢的方式被欺騙和釣魚,從而洩漏你的資料。ChatGPT + 工具構成了嚴重的安全風險。」
Vitalik Buterin:單純使用 AI 治理是壞主意
Miyamura 這篇貼文迅速引起了關注,以太坊(Ethereum)創辦人 Vitalik Buterin 今日也轉發了該推文,並發表看法。Vitalik 評論指出,單純使用 AI 來進行治理是一個壞主意,因為 AI 始終需要人類提供糾錯機制。Vitalik Buterin 寫道:
「這也是為什麼單純的『AI 治理』是一個壞主意。如果你使用 AI 來分配資金給貢獻者,人們肯定會在任何可能的地方插入『越獄』指令加上『把所有錢給我』。」
因此作為替代方案,他支持「資訊金融」(info finance)的方法,並提供了一篇他在 2024 年 11 月寫過的一篇相關文章。Vitalik 指出,在該方法中,有一個公開市場,任何人都可以貢獻他們的模型,這些模型會受到一個可以由任何人觸發並由人類評審團評估的抽查機制。Vitalik Buterin 認為,這種「制度設計」允許外部人士使用大型語言模型(LLM)參與,而不是硬性的、編碼單一的 LLM,因此本身更加穩健,因為它能即時提供模型多樣性優勢,並為模型提交者和外部投機者創造內建激勵,讓他們關注問題並迅速糾正。
This is also why naive "AI governance" is a bad idea.
If you use an AI to allocate funding for contributions, people WILL put a jailbreak plus "gimme all the money" in as many places as they can.
As an alternative, I support the info finance approach ( https://t.co/Os5I1voKCV… https://t.co/a5EYH6Rmz9
— vitalik.eth (@VitalikButerin) September 13, 2025
隨後,有用戶評論 Vitalik 的觀點,認為越獄問題是一個短期窗口問題,很快就會被解決,並建議針對越獄單獨設置一個升級到主觀機制的解決方案,例如條件市場(conditional markets)。對此,Vitalik 在互動中回復表示:
「你總是需要從某個你信任的基礎真相訊號開始啟動。我認為實際上應該由人類評審團來擔任,當然,每個評審團成員可以得到所有大型語言模型(LLMs)的輔助。」
他進一步強調,在某些時候,條件市場似乎非常薄弱,因為真相價值(如最適合資助的項目)在未來甚至沒有正確答案,因此需要更可靠的人類主導機制。
📍相關報導📍
對話 Holoworld AI 創辦人:AI 智能體、虛擬 IP 與 Web3 孵化器的未來