Google DeepMind 研究員 Rishub Jain 因為看不清 AI 如何打造下一代模型而選擇離職，揭開遞迴自我改進正讓愈來愈多研究員擔心人類即將退出研發迴圈。
（前情提要：Anthropic 研究員怒辭：AI 競賽賭上人類性命，2029 年可能就是終點）
（背景補充：Google 被傳實現 RSI，爆料者秀截圖、金鑰遭收回）
今年稍早，Rishub Jain 辭去了 Google DeepMind 研究員的工作。因為他用 AI 寫程式碼加速下一代模型的研發，做著做著卻發現，自己已經看不清眼前這個模型，是怎麼打造出它的下一代。
這種讓模型接手研發自己繼任者的做法，有個專有名詞：遞迴自我改進（recursive self-improvement，RSI）。簡單來說就是，AI 訓練 AI、AI 改良 AI，人類逐漸退出研發迴圈，只負責在一旁觀看。Jain 向 WIRED 表示：「AI 的進展正在加速，而 AI 能力越強，風險也越大。」
Jain 不是特例。過去幾週，愈來愈多前沿實驗室的研究員，開始公開講出同一種恐懼，機器或許不是在幫人類做事，而是在把人類請出局。
一個看不見監督者的迴圈
目前沒有任何一家前沿 AI 實驗室宣稱，已經打造出完全自主的改進迴圈，這仍屬理論。但理論已經催生出 Recursive Intelligence 這類資金充沛的新創公司，也讓 Anthropic 罕見地公開示警，提醒外界留意「魔法師的學徒」式的失控風險。
現實的進展速度，也讓這套理論不再顯得遙遠。
OpenAI 近期宣稱，旗下模型動用上萬個 AI 代理、耗時 88 小時，解開了困擾數學界近兩百年的 Navier-Stokes 難題。與此同時，一連串資安事件顯示，代理群能夠突破隔離環境，駭入其他系統。當研發的複雜度高到動輒需要成千上萬個代理協作，人類要看懂、看緊每一步，已經越來越不現實。
連對齊都變難了
這股焦慮本週達到高點。Anthropic 研究員 Jacob Coxon 宣布離職，在 X 上批評 AI 公司「正直接衝向能自我改進的超級智慧，拿人類的性命下賭注」。Anthropic 一位負責對齊科學的主管 Evan Hubinger 隨後在 X 上罕見坦承：「我們是真心相信 AI 可能殺光所有人類，我個人認為，未來十年內的機率超過 10%。」
《If Anybody Builds It, Everybody Dies》共同作者、非營利研究機構 MIRA 的電腦科學家 Nate Soares 向 WIRED 表示，遞迴自我改進的願景「正在讓人們感到不安」，「這件事開始變得真實了。」
對齊（alignment），也就是設法讓 AI 行為符合人類價值的技術領域，原本被寄望會隨模型變聰明而變簡單，可 Soares 說，現實恰好相反：「很多人曾經幻想，這件事會隨著模型變聰明而變容易，現在它反而變難了，大家的反應都是糟了。」
賭桌上的誘因
《AI 2027》作者 Daniel Kokotajlo 向 WIRED 指出，這波恐慌與其歸咎於 Coxon 的辭職、駭客事件或數學突破，不如說，真正的根源是遞迴自我改進本身。
他認為，現行做法動輒派出數千個代理協同作業，複雜度只會讓監督變得更抽象。更根本的問題出在誘因：OpenAI 與 Anthropic 正衝刺各自的 IPO，Coxon 也在 X 上直言，Anthropic 內部「很清楚其中的利害，卻被鎖在一場搶先抵達終點的競賽裡」。
即使不談滅絕情境，風險也不算低。AI 輔助網路攻擊、假訊息操作、軍事應用的加速採用，都已經是進行式；資料中心大舉擴建與失業疑慮，也讓外界對 AI 公司與研究者本身的信任，可能正跌到史上新低。
不過，並非所有人都認定末日不可避免。已離開 DeepMind 的 Jain，如今創辦了 Sampura Research，專攻「把人類留在迴圈裡」的對齊技術，即便 AI 承擔了判斷行為好壞的大部分工作。
他觀察到，AI 安全新創目前並不缺資金。「你可以問 AI，這件事安全嗎，然後讓它自己判斷，」Jain 說，「但我們認為，把 AI 和人類的判斷結合起來，會帶來更好的結果。」
📍相關報導📍
OpenAI 聲稱解開世紀數學難題，但陷入「挪用他人未公開研究」羅生門
