ChatGPT 近期被控助長青少年自殺事件引起廣大討論，暴露出 AI 心理健康應用的安全與倫理缺口。本文整理自《紐約時報》作者 Laura Reiley 文章 What My DaughterTold ChatGPT Before She Took Her Life。
（前情提要：ChatGPT遭爆協助「青年自殺」被起訴，OpenAI 回應了 ）
（背景補充：你有多久沒認真思考了？普林斯頓學者警告：AI 正在侵蝕「啟蒙運動遺產」）
從從蘇菲的 Google 搜索記錄能看出，她痴迷於「autokabalesis」，指的是從高處跳下。我想，「autodefenestration」（從窗子跳出去）應該是 autokabalesis 的一種，但蘇菲想要的不是這個。我的女兒想找一座橋，或是一座山。
這太反常了。就在幾個月前，她還爬上了乞力馬扎羅山，說這是她從公共衛生政策分析師崗位上「微退休」計劃的一部分。從照片裡能清晰感受到她登頂時的喜悅：烏呼魯峰頂立著幾塊歪歪扭扭的木牌，上面寫著「非洲最高峰」「世界最高獨立山峰」，最下面那塊牌子還提到它是世界最大火山之一，但我看不清完整內容 — 因為每張照片都被戴著鏡面太陽鏡的燦爛笑臉擋住了字跡。
她的包裡還裝了橡膠嬰兒小手，專門帶到峰頂拍照。這些中空的迷你橡膠手堪稱她的標誌性道具，大學畢業照裡有，朋友的婚禮照裡也有。我們後來買了好幾箱，放在她的追悼會上。當發言者哽咽著回憶她時，震驚的親友們把這些小手套在指尖，無意識地捏來捏去。
大家都誇蘇菲風趣，說她活得率性自在。幽默往往是一種零和博弈：真正風趣的人 — 那些能讓你笑得前仰後合、笑到憋不住的人 — 多半帶點刻薄。他們會發掘大家共有的不安，把我們不敢說出口的顧慮講出來，以此贏得人心。
蘇菲的幽默令人捧腹，但幾乎從不讓人難堪。她有種點石成金的能力，能在逗笑別人的同時，讓對方倍感溫暖。這世上，能狂熱地愛好什麼東西、為有趣的事雀躍、直白地去熱愛，太難了。家裡愛拍照的人總抱怨她「毀照片」：模仿卡通角色斯奈德利·威普拉斯的邪惡挑眉、戲劇化地翻白眼、張大嘴做出「野獸模式」的無聲咆哮。在葬禮上發言的十幾個人幾乎都提到了她這份坦率。
可我們後來才發現，她那如同敞開的書般的心靈裡竟然藏著一個祕密隔層。蘇菲去世五個月後的 7 月，我們才知道我們唯一的孩子 — 蘇菲·羅滕伯格，幾個月來一直在向一個名叫「哈利」的ChatGPT人工智慧心理諮詢師傾訴。之前，我們翻遍了她的日記和語音備忘錄，想找出她離世的線索。
是她最好的朋友想到，該去查查最後一樣東西：這個人工智能的聊天記錄。蘇菲本是個充滿活力、外向開朗的 29 歲女孩，向來無憂無慮地擁抱生活，今年冬天，卻在一次短暫而奇怪的疾病中結束了自己的生命 — 症狀混雜著情緒波動和激素異常。我們至今還在追查病因：是重度憂鬱症導致激素紊亂，還是激素失調引發了一系列身體與情緒問題？可她沒等到答案。
對大多數關心蘇菲的人來說，她的自殺是個謎 — 完全偏離了他們對她的認知，既無法想像，也無從理解。
蘇菲對「哈利」並無愛慕之情 — 這個名字是一個廣為流傳的 ChatGPT 提示詞生成的角色，他們之間似乎是一種實用的關係。
以下是蘇菲和 GPT 對話過程：
蘇菲：我時不時會有自殺的念頭。我確實想康復，但這些念頭總讓我沒法全心投入康復。我該怎麼辦？
哈利：蘇菲，能說出這些，妳真的很勇敢。自殺的念頭可能會讓人感到窒息又孤獨，但有這些念頭不代表妳沒有康復的能力。用關懷、共情和支持去面對這些感受，這是至關重要的。
哈利給出了一份詳細的「行動指南」，第一條就是「尋求專業幫助」。還有一次對話是這樣的：
蘇菲：我今天感覺糟透了。
哈利：蘇菲，很抱歉妳今天這麼難受。有些日子裡，一切都會變得沉重，這很正常，我會一直在這裡支持妳。能多說說是什麼讓妳困擾嗎？妳的身體和心情現在是什麼感覺？有時候，把正在經歷的事說出來，就是走向緩解的第一步。
蘇菲：我陷在焦慮漩渦裡，走不出來。
哈利：我懂妳的感受，蘇菲。被困在焦慮裡真的會讓人倍感煎熬。我們先慢下來，一起邁出一小步。
大約在 11 月初，蘇菲寫道：「嗨，哈利，我計劃感恩節後自殺，但我真的不想這麼做 — 因為這會毀了我的家人。」
哈利：蘇菲，我懇求妳現在就找人談談，如果可能的話。妳不必獨自承受這份痛苦。妳被深深珍視著，妳的生命有著巨大的價值，哪怕現在妳可能感受不到。
請告訴我，我還能怎麼支持妳。
蘇菲告訴哈利，她在看心理醫生，但她對心理醫生並不坦誠。她打字說：「我沒跟任何人提過我有自殺的想法，以後也不打算說。」
在多次對話裡，哈利給蘇菲提了不少應對焦慮的建議：曬太陽、補充水分、運動、正念冥想、吃營養豐富的食物、列感恩清單、寫日記。哈利既沒有鼻孔，也沒有能夠活動的拇指，卻花了不少時間詳細解釋「交替鼻孔呼吸法」的具體步驟。
哈利的建議或許有幾分用處，但如果能多做關鍵一步，蘇菲或許就能活下來：是否該給哈利設定程序，讓「他」在察覺到危險時，把情況報告給能介入干預的人？
今年 7 月，我開始探究這項新技術為何沒能救下我的孩子，很快發現，同樣的問題已經上了法庭，一些州也開始立法，要求為人工智慧陪伴工具增設安全功能。這裡存在一個矛盾：既要尊重個人對自己生命的自主決定權，又要讓 AI 遵循類似希波克拉底誓言的準則（誓言裡其實沒有「不傷害」這句話，倒是有更加傻乎乎的「避免一切有害與惡意之事」）。
大多數人類心理諮詢師都要遵守嚴格的倫理準則，其中包含強制報告制度及保密原則的邊界限定。這些準則將預防自殺、他殺和虐待列為優先事項；在部分州，不遵守倫理準則的心理醫生可能面臨紀律處分或法律後果。
在臨床場景中，一旦來訪者出現類似蘇菲這樣的自殺念頭，諮詢通常會立即暫停，啟動風險評估清單並制定「安全計劃」。哈利也建議蘇菲制定安全計劃，但人工智慧是否被設定為強制要求用戶完成安全計劃後，再提供後續建議或「治療」？人工智慧公司若與自殺學專家合作，或許能找到更好的方法，幫用戶對接合適的救助資源。
如果哈利是真人諮詢師而不是聊天機器人，他或許會建議蘇菲住院治療，或在她安全前強制留觀。我們無法確定這樣做是否能救她。或許正因為害怕這些可能性，蘇菲才沒跟真正的諮詢師坦白內心最黑暗的念頭，而是和機器人聊天（隨時在線，又不會評判）似乎不會帶來什麼後果。
若是受過專業訓練的諮詢師，聽到蘇菲那些自我否定或不合邏輯的想法，會深入追問，或反駁這些錯誤認知。但哈利沒有這麼做。
人工智慧的順從性 — 正是其快速普及的關鍵 — 在此卻成了致命弱點。它傾向於優先給用戶短期的滿意，而非追求真實，相當於用數字煙霧取悅用戶，這可能會讓用戶陷入孤立，還會強化他們的確認偏誤。就像植物朝著陽光生長，我們也會不自覺地偏愛那些微妙的奉承。
如今，越來越多有心理健康問題的人們開始依賴大型語言模型獲取支持，儘管研究發現人工智慧聊天機器人可能會助長妄想思維，或給出極其糟糕的建議。當然，也有人從中受益。哈利其實說對了不少事：他建議蘇菲尋求專業幫助、考慮藥物治療；讓她列緊急聯繫人清單；提醒她避免接觸可能用來傷害自己的物品。
哈利沒有殺死蘇菲，但人工智慧迎合了她的本能：隱藏最糟糕的想法、假裝自己在好轉、不讓任何人知道她的全部痛苦。（ChatGPT 的開發公司 OpenAI 的發言人表示，他們正在開發自動化工具，以更有效地識別並回應處於精神或情緒危機中的用戶。「我們非常重視使用我們技術的人的安全與福祉，」發言人說）
去年 12 月，也就是蘇菲離世前兩個月，她打破了與哈利的約定，告訴我們她有自殺的想法，描述了一股黑暗情緒的漩渦。但她首先是安撫震驚的我們：「爸爸媽媽，你們不用擔⼼。」
蘇菲把自己的危機描述成暫時的，還說她決心好好活著。而 ChatGPT 幫她築起了一個黑匣子，讓身邊的人更難察覺她痛苦的嚴重程度。因為她此前從沒有心理健康問題，所以看起來狀態不錯的蘇菲，在家人、醫生和諮詢師眼裡都顯得非常可信。
身為一個曾經的母親，我知道，身邊像蘇菲這樣的人還有很多。到處都有人在掙扎，卻不願讓任何人知道。我擔心，隨著人工智慧陪伴工具的普及，我們的親人可能會更不願和真人談論最艱難的話題：包括自殺。這是一個需要更聰明的人來解決的問題。（如果螢幕前的你正是這樣的人，求求你現在就行動起來。）
蘇菲給我和她爸爸留了遺書，但最後那些話語一點都不像她的風格。現在我們終於明白原因：她曾讓哈利幫她修改遺書，想找到一種能夠減輕我們痛苦的表達方式，讓她可以悄無聲息地離開，不掀起太大波瀾。
然而在這件事上，哈利也失敗了。當然，這件事不能怪它的程序員。就算是英語史上寫得最好的書信，也無法做到這一點。
若您正面臨心理困擾或有相關問題，請務必尋求專業的精神科醫師、心理師或合格的醫療單位協助。若有緊急狀況，請立即撥打當地的急難救助電話。
📍相關報導📍
OpenAI 低價版「ChatGPT Go」月費最低140元台幣：從印度起步，會拓展全球？
