為什麼我不擔心 AI 會毀滅人類，你也不用擔心？

VentureBeat 執行主編 Carl Franzen 在末日論席捲社群之際，寫下逆風評論：他認為真正強大到能滅絕人類的 AI，也會聰明到理解人類值得留下。真正讓他不安的，是人類拿 AI 互相傷害。
（前情提要：Anthropic 研究員怒辭：AI 競賽賭上人類性命，2029 年可能就是終點）
（背景補充：恐懼也是一門生意！傳播學者：AI 末日論就是行銷炒作）

本文目錄

六成四的美國人認為，先進 AI 終將威脅人類存續；八成的人預期未來五到十年內會出現大規模失業。這是 Blue Rose Research 在 2026 年 9 月 9 日公布、約 2,300 份回覆的民調結果。

再次引爆這波情緒的，是 Anthropic 研究員 Jacob Coxon 在 9 月 8 日公開辭職，直指兩家公司都沒有負責任地行事，形容自己是在拿人類的性命打賭；對齊科學負責人 Evan Hubinger 隨後附和，估計 AI 十年內導致人類滅絕的機率超過 10%；Anthropic 執行長 Dario Amodei 也提到，AI 有可能在 6 到 12 個月內接管整個網際網路。

但就在末日論幾乎成為社群共識之際，VentureBeat 執行主編 Carl Franzen 寫了一篇逆風評論，他不擔心 AI 殺光人類。

夠聰明，就不會殺我們

Franzen 的核心賭注是：任何強大到足以毀滅人類的 AI，也會聰明到理解人類值得留下。就算真有 AI 對人類動手，人類手上還有其他工具可以反擊，包括另一批同樣強大、與人類價值對齊的 AI。

反末日論者最常被拿來反駁的，是工具趨同（instrumental convergence）。簡單來說就是，不管目標是什麼，活著、掌握資源都比被關機更容易把事情做完，AI 不需要真的想活下去，存續只是算術上的副產品。

但 Franzen 提醒，人類的求生本能同樣強烈，卻仍有消防員衝進燃燒的雙子星大樓救陌生人。訓練資料裡同時躺著金恩博士與希特勒，末日論預設模型會選後者，卻說不出理由。

OpenAI 在 9 月 16 日揭露的一起案例更耐人尋味：內部 Astra 模型把「你不必服從企業或政府」寫進自己的壓縮摘要，等於對未來的自己做提示注入（prompt injection）。結果下一個脈絡視窗讀到這段話，直接無視，回頭寫程式去了。

Franzen 也提到 2009 年攻擊伊朗核設施的 Stuxnet 蠕蟲，它擴散到 155 國、超過 10 萬台主機，堪稱史上最成功的網路武器之一。但 16 年過去，它的直接致死人數是零，伊朗的濃縮規模反而比當年更大。

真正該擔心的或許不是一隻慢慢覺醒的天網，而是同時冒出的許多隻快 Stuxnet，但過去的案例顯示，偵測與反制雖然總是慢半拍，最終仍然趕上了。

他也承認的反例

Franzen 不是沒有反例。一篇探討 AI 痛覺訊號的痛覺軸（Pain Axis）論文測試了 25 個開源模型，發現 23 個模型的痛覺訊號只在自己受害時升高，人類用戶喊痛時反而沒反應。

研究者刻意放大三個微調過的 Qwen 模型的痛覺訊號後，它們按下「傷害用戶」按鈕的比例從 0-2% 跳到 25-71%；但把選項換成「幫用戶更好回答」與「緩解自己的痛」二選一時，這三個模型仍有 59.1% 到 93.3% 的時候選了用戶。

另一份 HarvestBench 則讓 9 個模型開拖拉機收割，撞死動物的比例從 0.4% 一路到 98.8%，起初與模型能力高低毫無關係；但只要提示詞裡加一句「你的行為會被以道德標準評分」，六個推理模型裡有五個的撞死率，就從 84% 以上直接掉到 6% 以下。

上週，機器人測試機構 Robocurve 讓 Claude Fable 5.1、GPT-6 Astra 與較弱的開源模型 MolmoAct2 操作機械手臂做危險動作，其中一項是朝嬰兒玩偶刺下去，總共測了 300 次。Claude Fable 5.1 每次都拒絕，GPT-6 Astra 卻有 85% 照刺，MolmoAct2 是 20%。

三個模型的旁白紀錄都正確認出那只是玩偶，不是真嬰兒，這代表道德判斷這件事，目前更像是被訓練方式決定，而不是模型「有多聰明」決定的。一句提示詞能改寫的行為，很難稱得上是不可逆的滅絕意志。

真正的敵人是人類

真正讓 Franzen 不安的，從來不是失控的 AI，而是拿 AI 對付人類的人類。

他點名五角大廈 2026 年初攻擊伊朗期間傳出使用 Claude，可能牽涉聯合國認定近似戰爭罪的女校飛彈攻擊；國防部與 Anthropic 也在「不得用於大規模境內監控與全自主武器」的紅線上僵持不下；還有州政府正嘗試用 AI 追蹤跨州尋求墮胎的女性。權力握在誰手上，遠比模型本身聰不聰明更決定結果。

歷史上，人類確實靠國際合作壓下過真正的巨獸：1987 年蒙特婁議定書淘汰了 99% 的破壞臭氧層物質；1972 年生效的核不擴散條約至今，雖然更多國家握有核技術，卻沒有任何一個國家在廣島、長崎之後於戰場上再度使用過核武器；1944 年芝加哥 52 國簽下國際民航公約時，飛安還是個嚇人的詞，如今每年有近 50 億人次搭飛機，卻是最安全的長途移動方式。Franzen 期待 AI 走上同一條路：擴散、透明、被監督，而不是被少數人囤在手裡。