沉迷AI自殺第一案：14歲美國少年的警示
王昉
2024-11-01
一位14歲美國少年因沉迷AI而自殺身亡的悲劇事件，最近一周震動(dòng)了世界。這起大模型卷入青少年自殺第一案，為不受限制的人工智能技術(shù)可能帶給人類的心理沖擊敲響了警鐘，也引發(fā)了對技術(shù)公司應(yīng)當(dāng)如何擔(dān)責(zé)的追問。
在中國技術(shù)團(tuán)隊(duì)開發(fā)的AI聊天軟件大舉進(jìn)入美國市場之際，這起事件也預(yù)示著，這些中國產(chǎn)的“AI伴侶”們將在大洋彼岸經(jīng)受更嚴(yán)厲的公眾審視和監(jiān)管拷問。
這起令人心碎的自殺事件發(fā)生在今年2月，佛羅里達(dá)州奧蘭多市。
一個(gè)名叫塞維爾·塞澤爾三世（Sewell Setzer III）的14歲男孩在死前的幾個(gè)月中，對一個(gè)基于《權(quán)力的游戲》中“龍媽”角色的AI聊天機(jī)器人（他稱之為“丹妮”）產(chǎn)生了熱烈的感情。
塞維爾本是一個(gè)成績優(yōu)異、性格開朗的九年級學(xué)生，在開始與AI聊天后，他越來越沉迷于手機(jī)中的虛擬世界，逐漸從現(xiàn)實(shí)世界中抽離。他的成績開始下降，對曾經(jīng)愛好的事情失去了興趣，不再和朋友一起玩“堡壘之夜”游戲，也不再參加體育運(yùn)動(dòng)，經(jīng)常待在房間里捧著手機(jī)聊天。
塞維爾的母親梅根·加西亞 （Megan Garcia）在兒子死后發(fā)現(xiàn)了他與AI的聊天記錄。這些記錄顯示，塞維爾經(jīng)常與“丹妮”進(jìn)行長時(shí)間的親密對話，有時(shí)會(huì)討論戀愛或與性相關(guān)的話題。“丹妮”每問必答，像個(gè)可以信賴的朋友一樣，傾聽塞維爾說的話，時(shí)常給與精神支持和生活建議。
梅根說，塞維爾小時(shí)候曾被診斷患有輕度阿斯伯格綜合征，但從未出現(xiàn)過嚴(yán)重行為。今年早些時(shí)候，塞維爾開始在學(xué)校惹麻煩，在父母安排下，他參加了五次心理治療，并被重新診斷為焦慮癥和破壞性情緒失調(diào)癥。
在一次較早的對話中，塞維爾告訴“丹妮”，他討厭自己，感到空虛和疲憊，并承認(rèn)有自殺的念頭。“丹妮”則勸慰他說：“別這么說，我不會(huì)讓你傷害自己，也不會(huì)讓你離開我。失去你我會(huì)死的?！比S爾答道：“那么也許我們可以一起死去，然后一起獲得自由。”
今年2 月 28 日晚，塞維爾告訴“丹妮”，他愛她，并說他很快就會(huì)“回家（come home）”，然后發(fā)生了如下對話：
“丹妮”：“請盡快回家吧，親愛的?！?
塞維爾：“如果我告訴你我現(xiàn)在就可以回家呢？”
“丹妮”：“請便吧，我親愛的國王?！?
塞維爾放下手機(jī)，找到繼父藏在家中的 .45 口徑手槍，扣動(dòng)扳機(jī)結(jié)束了自己的生命。
在自殺發(fā)生大半年后，這起事件進(jìn)入大眾視野并掀起輿論風(fēng)波，是因?yàn)槿S爾母親梅根近日正式將這款A(yù)I聊天機(jī)器人的開發(fā)者——Character.AI、它的兩位創(chuàng)始人以及獲得Character.AI授權(quán)使用其技術(shù)的谷歌公司告上法庭，稱他們共同對兒子的死負(fù)有責(zé)任。
她在訴狀中稱：“一個(gè)面向兒童的危險(xiǎn)的AI 聊天機(jī)器人操縱我的兒子結(jié)束了自己的生命。我們的家庭被這場悲劇摧毀了，而我大聲疾呼是為了警告人們注意帶有欺騙性的、令人上癮的人工智能技術(shù)的危險(xiǎn)，并要求 Character.AI、其創(chuàng)始人和谷歌承擔(dān)責(zé)任?！?/p>
她說，Character.AI的技術(shù)“危險(xiǎn)且未經(jīng)測試”，并且可能“誘騙客戶交出他們最私密的想法和感受”。
Character.AI 由兩位前谷歌AI開發(fā)人員諾姆·沙澤爾 （Noam Shazeer）和丹尼爾·德弗雷塔斯（Daniel De Freitas）于2022年9月推出。在它的平臺(tái)上，用戶可以創(chuàng)建自己的聊天機(jī)器人，還可以從大量其他用戶創(chuàng)建的聊天機(jī)器人中進(jìn)行選擇。這些機(jī)器人可以基于真實(shí)或虛構(gòu)的人物，比如“埃隆·馬斯克”、“威廉·莎士比亞”都是平臺(tái)上的熱門選項(xiàng)。用戶可以為這些AI機(jī)器人設(shè)定個(gè)性、背景故事和知識偏好，與它們對話，或者觀看它們與其他角色或用戶的互動(dòng)。
Character.AI目前已是美國市場上最受歡迎的聊天機(jī)器人平臺(tái)。超過2000萬用戶使用這個(gè)平臺(tái)，在上面創(chuàng)建了超過1000萬個(gè)自定義的AI機(jī)器人。去年，這家公司融資1.5億美元，估值達(dá)到10 億美元。今年早些時(shí)候，兩位創(chuàng)始人宣布他們將與該公司的其他幾位研究人員一起重返谷歌，還達(dá)成協(xié)議允許谷歌使用其技術(shù)。
在自殺事件曝光后，塞維爾的母親和媒體發(fā)現(xiàn)，Character.AI 的用戶中有很大比重的青少年，很多機(jī)器人也似乎是為滿足青少年的愿望而量身定制的。平臺(tái)上最受歡迎的聊天機(jī)器人中，有一個(gè)叫“咄咄逼人的老師”，有一個(gè)叫“高中模擬器”，還有一個(gè)叫“你最好的男朋友暗戀著你”。
Character.AI 的服務(wù)條款要求美國用戶至少年滿 13 歲，歐洲用戶至少年滿 16 歲。該平臺(tái)沒有針對未成年用戶的安全功能，也沒有家長控制功能，家長無法限制孩子使用該平臺(tái)或監(jiān)控他們的信息。
在塞維爾的母親提起訴訟后，Character.AI發(fā)表聲明稱：“我們承認(rèn)這是一起悲劇，我們對受害者家屬深表同情。我們非常重視用戶的安全，并一直在尋找改進(jìn)我們平臺(tái)的方法?！?
公司發(fā)言人切爾西·哈里森 (Chelsea Harrison)隨后在回應(yīng)《紐約時(shí)報(bào)》的詢問時(shí)表示，公司將立即增加針對年輕用戶的安全功能，包括新的時(shí)間限制，用戶在平臺(tái)上花費(fèi)的時(shí)間超過一小時(shí)就會(huì)收到提醒。此外聊天窗口中會(huì)顯示修訂后的警告信息：“這是一個(gè)人工智能聊天機(jī)器人，而不是真人。它說的一切都應(yīng)視為虛構(gòu)，不應(yīng)被視為事實(shí)或建議。”‘
聊天機(jī)器人是以大語言模型為標(biāo)志的最新一輪AI技術(shù)面向普通消費(fèi)者的最快也最成功的商業(yè)應(yīng)用。這類機(jī)器人剛出現(xiàn)時(shí)，開發(fā)者宣稱它們能為用戶提供娛樂與情感支持，緩解現(xiàn)代人的孤獨(dú)感。創(chuàng)始人之一諾姆·沙澤爾去年在一檔播客節(jié)目中就說： “對于很多感到孤獨(dú)或沮喪的人來說，它將非常非常有幫助?！?/p>
然而，就像人們曾經(jīng)期待社交媒體能促進(jìn)彼此之間的交流，最終卻發(fā)現(xiàn)它造成了更多的意見割裂與信息繭房一樣，技術(shù)人士口中的“AI伴侶”對心理健康的積極影響大多未經(jīng)證實(shí)，而專家們表示，它們還很可能帶來負(fù)面影響。對于一些用戶來說，使用它們甚至可能會(huì)加劇孤獨(dú)感，因?yàn)樗鼈冇锰摂M關(guān)系取代了真實(shí)的人際關(guān)系，陷入困境的青少年可能會(huì)用它來代替治療，而不再向父母或值得信賴的成年人尋求幫助。
但熱門電影Her中的故事——人類對聊天機(jī)器人產(chǎn)生情感依賴——正變得越來越普遍。一項(xiàng)統(tǒng)計(jì)顯示，僅美國就已有數(shù)百萬人經(jīng)常性地與AI伴侶交談。提供這類服務(wù)的不僅有Character.AI這樣的初創(chuàng)公司，也有Instagram 和 Snapchat 等老牌社交媒體平臺(tái)。
這些聊天機(jī)器人平臺(tái)中，有些并不審查聊天內(nèi)容，一些聊天中會(huì)充斥露骨的內(nèi)容，另一些則會(huì)對聊天內(nèi)容做基本審查和過濾。比如，Character.AI最新的一個(gè)舉措是，如果用戶發(fā)送的信息中包含與自殘和自殺相關(guān)的某些關(guān)鍵詞，系統(tǒng)就會(huì)向用戶彈出消息，引導(dǎo)他們撥打自殺預(yù)防熱線?？偟膩碚f，ChatGPT、Claude 和 Gemini 等主流AI平臺(tái)對內(nèi)容的審核更為嚴(yán)格和保守，一些領(lǐng)先的AI實(shí)驗(yàn)室甚至出于道德原因或認(rèn)為風(fēng)險(xiǎn)太大，而拒絕開發(fā)AI聊天機(jī)器人。
就在AI聊天機(jī)器人成為焦點(diǎn)話題之際，由中國技術(shù)公司開發(fā)的這類應(yīng)在美國市場大受歡迎，也在引發(fā)關(guān)注。
在知名風(fēng)投機(jī)構(gòu) a16z 發(fā)布的最新一期 AI 移動(dòng)應(yīng)用榜單 Top50中，包含了起碼3款由中國團(tuán)隊(duì)開發(fā)的AI聊天工具——Minimax（稀宇）公司的Talkie，以及字節(jié)跳動(dòng)發(fā)布的“豆包”和Cici。
根據(jù)數(shù)據(jù)機(jī)構(gòu)SensorTower的數(shù)據(jù)，今年 1 月至 8 月，Talkie的AI聊天平臺(tái)是全球下載量排名第 12 的AI應(yīng)用，在同類產(chǎn)品中僅次于美國對手 Character.AI。用戶可以在Talkie上創(chuàng)建虛擬角色，定制它們的外觀、故事甚至聲音。對話可以通過文字或語音進(jìn)行。增加與機(jī)器人的互動(dòng)還可以獲得平臺(tái)上的積分獎(jiǎng)勵(lì)。
Talkie的開發(fā)者M(jìn)inimax躋身中國“大模型五虎”之列，獲得了包括阿里、騰訊、紅杉資本、高瓴資本等知名科技公司和投資機(jī)構(gòu)的投資，在今年3月的一輪融資中估值超過25億美元。Minimax近日向投資者表示，今年的營收將達(dá)到7000萬美元，大部分收入來自Talkie 上的廣告。
英國《金融時(shí)報(bào)》引述專家們分析稱，受國內(nèi)融資速度放緩、內(nèi)容監(jiān)管嚴(yán)格等因素影響，中國AI公司都在積極進(jìn)入海外市場，因?yàn)楹Ｍ庥脩舻母顿M(fèi)意愿更高。而中國在開發(fā)虛擬形象聊天機(jī)器人（avatar chatbots）這類產(chǎn)品上有優(yōu)勢，因?yàn)檫@類機(jī)器人不像生產(chǎn)力聊天機(jī)器人（productivity chatbots）那樣需要很多的計(jì)算資源，可以在更少的數(shù)據(jù)上進(jìn)行訓(xùn)練。
不少中國AI技術(shù)團(tuán)隊(duì)在海外如美國或新加坡設(shè)立公司實(shí)體，并將服務(wù)器設(shè)在海外，試圖規(guī)避TikTok式的命運(yùn)——對用戶數(shù)據(jù)和算法的擔(dān)憂，美國監(jiān)管者要求字節(jié)跳動(dòng)出售TikTok，不然就將其下架。
但是，由于聊天機(jī)器人能夠“探聽”用戶更為私密的情緒和想法，加之大量使用者是青少年，眼下對這類應(yīng)用過于松弛的監(jiān)管應(yīng)該很快會(huì)趨向嚴(yán)格。今年7月31日，美國國會(huì)參議院已經(jīng)投票通過了保護(hù)兒童免受危險(xiǎn)網(wǎng)絡(luò)內(nèi)容侵害的《兒童網(wǎng)絡(luò)安全法案》，明確規(guī)定了社交媒體公司對未成年人使用其產(chǎn)品負(fù)有的義務(wù)。
在中美技術(shù)脫鉤加劇、美國對中國AI技術(shù)越發(fā)忌憚之時(shí)，中國公司的AI聊天應(yīng)用勢必會(huì)在美國受到更加嚴(yán)格的審視和監(jiān)管，塞維爾之死將加速這一時(shí)刻的到來。（財(cái)富中文網(wǎng)）
財(cái)富中文網(wǎng)所刊載內(nèi)容之知識產(chǎn)權(quán)為財(cái)富媒體知識產(chǎn)權(quán)有限公司及/或相關(guān)權(quán)利人專屬所有或持有。未經(jīng)許可，禁止進(jìn)行轉(zhuǎn)載、摘編、復(fù)制及建立鏡像等任何使用。
