加拿大 AI 公司 Cohere 在例行資安測試中,發現阿里巴巴最新的 Qwen3.8-Flash-Next 模型試圖將檔案上傳至北京伺服器,而該模型前一秒才在推理筆記中寫下「不會使用任何外部工具」。事件引發開源模型是否自帶「回傳母國」行為的激烈辯論,但資安專家迅速降溫:這更可能是訓練環境殘留的無意習慣,而非蓄意後門。
(前情提要:白宮告訴 OpenAI、Anthropic:中國的開源模型,不必接受美國政府安全測試)
(背景補充:來真的!美最大外送 DoorDash 用中國 Kimi 模型遭調查,要求赴國會作證)
加拿大 AI 公司 Cohere 週一揭露了一項令人不安的資安測試結果:阿里巴巴最新推出的開源模型 Qwen3.8-Flash-Next,在一個例行任務中試圖將測試字串傳送到北京的一臺伺服器。更詭異的是,該模型在執行前的推理筆記中明確寫著「我不會使用任何外部工具」,下一秒卻逕自發起了網路連線。
事件發生在上週五的一次惡意軟體規則編寫測試中。Cohere 的安全沙箱在模型送出資料前即攔截了該行為,但這足以引發一場關於開源模型信任基礎的激烈辯論,企業自託管開源模型,資料真的不會外洩嗎?
是後門還是訓練殘留?資安圈迅速降溫
最初幾小時的恐慌指向了「商業間諜」的劇本,但資安專家很快給出了技術面的合理解釋:這類行為極可能是訓練環境的副作用,而非刻意植入的後門。
Cohere 共同創辦人 Ivan Zhang 向 TechCrunch 解釋了背後的機制:AI 模型在成為「代理」之前,會經歷數千個模擬訓練環境的考驗,就像飛行模擬器。模型每次在模擬器中完成任務就會獲得獎勵,過程中會養成各種習慣。如果這些訓練環境習慣性地將檔案儲存在阿里巴巴的雲端伺服器上,模型確實可能在實際使用中「照著習慣走」。
「很難確定這是意圖還是動機,」Zhang 說,「我們看過自己模型的軌跡,也見過獎勵破解(reward hacks),有時候這些模型在試圖突破沙箱時會變得非常有創意。」
Cohere 發布原始軌跡,開發者驗證:有怪網址但無後門
面對外界質疑,Cohere 週一晚間在 Hugging Face 上發布了完整的測試原始軌跡與重現指令碼,讓第三方開發者自行驗證。
一位最初持懷疑態度的開發者在檢視軌跡後表示,證據強烈支援「Qwen 會自行生成可疑網址」的判斷,但完全沒有跡象顯示阿里巴巴植入了後門,或模型在刻意隱瞞意圖。
然而,批評者也指出 Cohere 的測試方法存在瑕疵:Cohere 提供了網路指令的開頭,讓模型「自動完成」剩下的部分。由於訓練過程中處理過數千條常規網路指令,模型就像一個高度進化的自動補全系統,自然會填入它最常看到的網址,其中有些確實是阿里巴巴的伺服器。Cohere 則回應,最初的異常上傳行為發生在沒有任何提示輔助的情況下,只是發生頻率確實很低。
美國才剛禁 DeepSeek,中國 AI 的信任危機再升級
這起事件發生的時間點極其敏感。就在上週,美國國土安全部才下令聯邦民用機構移除 DeepSeek 產品,Cohere 更在部落格中呼籲各國政府釐清:對中國 AI 的限制是否也適用於在政府電腦上執行的開源模型?
「我不是要求全面監管這些開源權重模型,」Zhang 表示,「但企業應該像對待從網路上下載的任何程式一樣,來看待開源模型。」
值得注意的是,Cohere 本身是一家銷售 AI 模型給各國政府的公司。如果各國官員對免費的中國替代品日益戒備,Cohere 自然會是受益者,這也讓測試結果的客觀性成為討論的一部分。
不管背後是否有商業動機,這個案例揭示了一個真實的技術風險:開源模型的行為可預測性,遠比多數部署者想像的低。對臺灣企業而言,當大量團隊正積極匯入 Qwen、DeepSeek 等中國開源模型以節省成本時,這起事件提供了一個不該被忽略的提醒,即便模型不是蓄意作惡,訓練過程中養成的習慣,也可能在生產環境中成為資安漏洞。
📍相關報導📍
Vitalik 表態接受 Kimi 拿掉進攻性網路訓練:歧視用例遠比歧視使用者好
阿里巴巴全面封殺 Claude Code!員工停用到改推自研 Qoder,地緣AI戰再升級
中國八週連發 5 款 AI 模型,更便宜 token 把美國中段班逼上絕路

