十年前的 Inception v3 在 200 例病理確認皮膚病灶上,第一診斷正確率 62%,勝過 GPT-6 Astra 與 Claude Fable 5.1 的約 42%。通用大型模型未必勝過專用模型。
(前情提要:數值怪 GPT-6 Astra 發布:跑分驚人 OpenAI 喊 AGI 時刻來了(附實測效果))
(背景補充:植物「會說話」?這家新創用 AI 讀樹幹電訊號,判斷是否缺水)
耳上那塊病灶,兩款前沿大型語言模型都判成無害的脂溢性角化,還說可以出院;十年前的卷積神經網路卻依皮膚鏡影像判對黑色素瘤。這不是段子,是 Lynch Lab 於台北時間 10 月 25 日公布的對照測試。
不過範圍要先講清楚:作者 Dr Magnus Lynch(Guy’s Hospital 顧問皮膚科與 Mohs 外科醫師、King’s College London Honorary Reader)隨機抽了 200 個病理確認病灶,比較的是「六選一第一診斷」準不準,不是宣布哪套系統可以取代門診。
為什麼十年前的 CNN 贏了?
數字很直白。Google 2015 年發表的 Inception v3,經皮膚科公開影像微調後,第一診斷正確 125/200(62%);GPT-6 Astra 與 Claude Fable 5.1 分別只有 84、85 例,約 42%。也就是說,專用小網路大約多對了兩成案例。
病灶來自 2025 年公開的 MILK10k:每例同時有臨床近拍照與皮膚鏡影像。200 例裡,100 例不宜直接出院(黑色素瘤 30、基底細胞癌 25、鱗狀細胞癌含 Bowen 氏病 25、光化性角化病 20),另 100 例可出院(良性痣 50、脂溢性角化症 50)。全數經切片,本來就偏難。
兩款 LLM 收到同一組雙圖與相同提示,要給第一選擇、信心、第二選擇,以及能不能安全出院。CNN 則用 ISIC Archive 68,011 張影像微調全層,單顆 H100 約 20 分鐘;測試病灶與同病人照片事先從訓練與驗證集剔除。
差在哪裡?第二選擇與黑色素瘤
若第一或第二選擇都算對,CNN 到 173 例,兩 LLM 分別是 134、138。黑色素瘤第一選擇:CNN 13/30,LLM 為 8 與 11。差距也不只惡性病灶 —— 良性痣與脂溢性角化上,專用 CNN 同樣明顯較準。
再看失敗模式就不一樣了。GPT-6 Astra 特別愛判基底細胞癌(75 次,實際只有 25 例),其中含 14 例黑色素瘤;Claude Fable 5.1 則偏愛光化性角化病。CNN 判錯黑色素瘤時,較常往痣或脂溢性角化偏 —— 方向不同,風險也就不同。
文章在 Hacker News 引發討論,截至約台北時間 10 月 26 日已有約 500 余分、逾 200 則留言。主軸多是「專用小模型贏通才大模型並不意外」;也有人質疑,用同領域資料微調的 CNN,跟沒特訓的 LLM 比,公平性本來就不一樣。
這能當臨床證明嗎?先看限制怎麼寫
作者自己就把邊界講開了:200 例偏小,30 例黑色素瘤的不確定性大;每案 LLM 只跑一次,答案可能浮動;全數切片,屬於較難案例。MILK10k 自 2025 公開,LLM 理論上可能看過(若有,反而對 LLM 有利);CNN 則確定沒看過測試集。
換句話說,Inception v3 也不是當代最強皮膚癌 AI。現今這領域多半用 vision transformer 集成,受監管產品表現更好 —— 所以這份測試比較像「通才大模型不會自動贏過專用模型」的對帳,而不是「舊 CNN 已可上臨床」的證明。
閾值更會改寫風險帳。預設閾值下,不宜出院的 100 例 CNN 只「留住」77;把閾值調到可比水準後可到 98–99。另以患者視角只給臨床照問「要不要看醫生」時,兩 LLM 幾乎每案都勸就醫(另 100 例病理確認黑色素瘤中勸就醫 99/98),顯示通才模型偏保守。
現在能確認的是:同一組病理確認案例上,二十分鐘微調的舊 CNN,第一診斷正確率明顯高過兩款前沿 LLM。下一步若要外推到產品選型,還得看更大樣本、可複現的閾值設計,以及真正受監管的專用影像系統怎麼表現 —— 這份測試還沒回答那些問題。

📍相關報導📍
數值怪 GPT-6 Astra 發布:跑分驚人 OpenAI 喊 AGI 時刻來了(附實測效果)
Openai 大方送:GPT-6 Astra 每晚一天開放付費用戶,就送一次重置額度
