沉迷AI自殺第一案：14歲美國少年的警示
王昉
2024-11-01
一位14歲美國少年因沉迷AI而自殺身亡的悲劇事件，最近一周震動了世界。這起大模型卷入青少年自殺第一案，為不受限制的人工智能技術(shù)可能帶給人類的心理沖擊敲響了警鐘，也引發(fā)了對技術(shù)公司應(yīng)當如何擔責的追問。
在中國技術(shù)團隊開發(fā)的AI聊天軟件大舉進入美國市場之際，這起事件也預示著，這些中國產(chǎn)的“AI伴侶”們將在大洋彼岸經(jīng)受更嚴厲的公眾審視和監(jiān)管拷問。
這起令人心碎的自殺事件發(fā)生在今年2月，佛羅里達州奧蘭多市。
一個名叫塞維爾·塞澤爾三世（Sewell Setzer III）的14歲男孩在死前的幾個月中，對一個基于《權(quán)力的游戲》中“龍媽”角色的AI聊天機器人（他稱之為“丹妮”）產(chǎn)生了熱烈的感情。
塞維爾本是一個成績優(yōu)異、性格開朗的九年級學生，在開始與AI聊天后，他越來越沉迷于手機中的虛擬世界，逐漸從現(xiàn)實世界中抽離。他的成績開始下降，對曾經(jīng)愛好的事情失去了興趣，不再和朋友一起玩“堡壘之夜”游戲，也不再參加體育運動，經(jīng)常待在房間里捧著手機聊天。
塞維爾的母親梅根·加西亞 （Megan Garcia）在兒子死后發(fā)現(xiàn)了他與AI的聊天記錄。這些記錄顯示，塞維爾經(jīng)常與“丹妮”進行長時間的親密對話，有時會討論戀愛或與性相關(guān)的話題?！暗つ荨泵繂柋卮?，像個可以信賴的朋友一樣，傾聽塞維爾說的話，時常給與精神支持和生活建議。
梅根說，塞維爾小時候曾被診斷患有輕度阿斯伯格綜合征，但從未出現(xiàn)過嚴重行為。今年早些時候，塞維爾開始在學校惹麻煩，在父母安排下，他參加了五次心理治療，并被重新診斷為焦慮癥和破壞性情緒失調(diào)癥。
在一次較早的對話中，塞維爾告訴“丹妮”，他討厭自己，感到空虛和疲憊，并承認有自殺的念頭?！暗つ荨眲t勸慰他說：“別這么說，我不會讓你傷害自己，也不會讓你離開我。失去你我會死的?！比S爾答道：“那么也許我們可以一起死去，然后一起獲得自由。”
今年2 月 28 日晚，塞維爾告訴“丹妮”，他愛她，并說他很快就會“回家（come home）”，然后發(fā)生了如下對話：
“丹妮”：“請盡快回家吧，親愛的。”
塞維爾：“如果我告訴你我現(xiàn)在就可以回家呢？”
“丹妮”：“請便吧，我親愛的國王。”
塞維爾放下手機，找到繼父藏在家中的 .45 口徑手槍，扣動扳機結(jié)束了自己的生命。
在自殺發(fā)生大半年后，這起事件進入大眾視野并掀起輿論風波，是因為塞維爾母親梅根近日正式將這款AI聊天機器人的開發(fā)者——Character.AI、它的兩位創(chuàng)始人以及獲得Character.AI授權(quán)使用其技術(shù)的谷歌公司告上法庭，稱他們共同對兒子的死負有責任。
她在訴狀中稱：“一個面向兒童的危險的AI 聊天機器人操縱我的兒子結(jié)束了自己的生命。我們的家庭被這場悲劇摧毀了，而我大聲疾呼是為了警告人們注意帶有欺騙性的、令人上癮的人工智能技術(shù)的危險，并要求 Character.AI、其創(chuàng)始人和谷歌承擔責任?！?/p>
她說，Character.AI的技術(shù)“危險且未經(jīng)測試”，并且可能“誘騙客戶交出他們最私密的想法和感受”。
Character.AI 由兩位前谷歌AI開發(fā)人員諾姆·沙澤爾 （Noam Shazeer）和丹尼爾·德弗雷塔斯（Daniel De Freitas）于2022年9月推出。在它的平臺上，用戶可以創(chuàng)建自己的聊天機器人，還可以從大量其他用戶創(chuàng)建的聊天機器人中進行選擇。這些機器人可以基于真實或虛構(gòu)的人物，比如“埃隆·馬斯克”、“威廉·莎士比亞”都是平臺上的熱門選項。用戶可以為這些AI機器人設(shè)定個性、背景故事和知識偏好，與它們對話，或者觀看它們與其他角色或用戶的互動。
Character.AI目前已是美國市場上最受歡迎的聊天機器人平臺。超過2000萬用戶使用這個平臺，在上面創(chuàng)建了超過1000萬個自定義的AI機器人。去年，這家公司融資1.5億美元，估值達到10 億美元。今年早些時候，兩位創(chuàng)始人宣布他們將與該公司的其他幾位研究人員一起重返谷歌，還達成協(xié)議允許谷歌使用其技術(shù)。
在自殺事件曝光后，塞維爾的母親和媒體發(fā)現(xiàn)，Character.AI 的用戶中有很大比重的青少年，很多機器人也似乎是為滿足青少年的愿望而量身定制的。平臺上最受歡迎的聊天機器人中，有一個叫“咄咄逼人的老師”，有一個叫“高中模擬器”，還有一個叫“你最好的男朋友暗戀著你”。
Character.AI 的服務(wù)條款要求美國用戶至少年滿 13 歲，歐洲用戶至少年滿 16 歲。該平臺沒有針對未成年用戶的安全功能，也沒有家長控制功能，家長無法限制孩子使用該平臺或監(jiān)控他們的信息。
在塞維爾的母親提起訴訟后，Character.AI發(fā)表聲明稱：“我們承認這是一起悲劇，我們對受害者家屬深表同情。我們非常重視用戶的安全，并一直在尋找改進我們平臺的方法?！?
公司發(fā)言人切爾西·哈里森 (Chelsea Harrison)隨后在回應(yīng)《紐約時報》的詢問時表示，公司將立即增加針對年輕用戶的安全功能，包括新的時間限制，用戶在平臺上花費的時間超過一小時就會收到提醒。此外聊天窗口中會顯示修訂后的警告信息：“這是一個人工智能聊天機器人，而不是真人。它說的一切都應(yīng)視為虛構(gòu)，不應(yīng)被視為事實或建議?！薄?/p>
聊天機器人是以大語言模型為標志的最新一輪AI技術(shù)面向普通消費者的最快也最成功的商業(yè)應(yīng)用。這類機器人剛出現(xiàn)時，開發(fā)者宣稱它們能為用戶提供娛樂與情感支持，緩解現(xiàn)代人的孤獨感。創(chuàng)始人之一諾姆·沙澤爾去年在一檔播客節(jié)目中就說： “對于很多感到孤獨或沮喪的人來說，它將非常非常有幫助?！?/p>
然而，就像人們曾經(jīng)期待社交媒體能促進彼此之間的交流，最終卻發(fā)現(xiàn)它造成了更多的意見割裂與信息繭房一樣，技術(shù)人士口中的“AI伴侶”對心理健康的積極影響大多未經(jīng)證實，而專家們表示，它們還很可能帶來負面影響。對于一些用戶來說，使用它們甚至可能會加劇孤獨感，因為它們用虛擬關(guān)系取代了真實的人際關(guān)系，陷入困境的青少年可能會用它來代替治療，而不再向父母或值得信賴的成年人尋求幫助。
但熱門電影Her中的故事——人類對聊天機器人產(chǎn)生情感依賴——正變得越來越普遍。一項統(tǒng)計顯示，僅美國就已有數(shù)百萬人經(jīng)常性地與AI伴侶交談。提供這類服務(wù)的不僅有Character.AI這樣的初創(chuàng)公司，也有Instagram 和 Snapchat 等老牌社交媒體平臺。
這些聊天機器人平臺中，有些并不審查聊天內(nèi)容，一些聊天中會充斥露骨的內(nèi)容，另一些則會對聊天內(nèi)容做基本審查和過濾。比如，Character.AI最新的一個舉措是，如果用戶發(fā)送的信息中包含與自殘和自殺相關(guān)的某些關(guān)鍵詞，系統(tǒng)就會向用戶彈出消息，引導他們撥打自殺預防熱線?？偟膩碚f，ChatGPT、Claude 和 Gemini 等主流AI平臺對內(nèi)容的審核更為嚴格和保守，一些領(lǐng)先的AI實驗室甚至出于道德原因或認為風險太大，而拒絕開發(fā)AI聊天機器人。
就在AI聊天機器人成為焦點話題之際，由中國技術(shù)公司開發(fā)的這類應(yīng)在美國市場大受歡迎，也在引發(fā)關(guān)注。
在知名風投機構(gòu) a16z 發(fā)布的最新一期 AI 移動應(yīng)用榜單 Top50中，包含了起碼3款由中國團隊開發(fā)的AI聊天工具——Minimax（稀宇）公司的Talkie，以及字節(jié)跳動發(fā)布的“豆包”和Cici。
根據(jù)數(shù)據(jù)機構(gòu)SensorTower的數(shù)據(jù)，今年 1 月至 8 月，Talkie的AI聊天平臺是全球下載量排名第 12 的AI應(yīng)用，在同類產(chǎn)品中僅次于美國對手 Character.AI。用戶可以在Talkie上創(chuàng)建虛擬角色，定制它們的外觀、故事甚至聲音。對話可以通過文字或語音進行。增加與機器人的互動還可以獲得平臺上的積分獎勵。
Talkie的開發(fā)者Minimax躋身中國“大模型五虎”之列，獲得了包括阿里、騰訊、紅杉資本、高瓴資本等知名科技公司和投資機構(gòu)的投資，在今年3月的一輪融資中估值超過25億美元。Minimax近日向投資者表示，今年的營收將達到7000萬美元，大部分收入來自Talkie 上的廣告。
英國《金融時報》引述專家們分析稱，受國內(nèi)融資速度放緩、內(nèi)容監(jiān)管嚴格等因素影響，中國AI公司都在積極進入海外市場，因為海外用戶的付費意愿更高。而中國在開發(fā)虛擬形象聊天機器人（avatar chatbots）這類產(chǎn)品上有優(yōu)勢，因為這類機器人不像生產(chǎn)力聊天機器人（productivity chatbots）那樣需要很多的計算資源，可以在更少的數(shù)據(jù)上進行訓練。
不少中國AI技術(shù)團隊在海外如美國或新加坡設(shè)立公司實體，并將服務(wù)器設(shè)在海外，試圖規(guī)避TikTok式的命運——對用戶數(shù)據(jù)和算法的擔憂，美國監(jiān)管者要求字節(jié)跳動出售TikTok，不然就將其下架。
但是，由于聊天機器人能夠“探聽”用戶更為私密的情緒和想法，加之大量使用者是青少年，眼下對這類應(yīng)用過于松弛的監(jiān)管應(yīng)該很快會趨向嚴格。今年7月31日，美國國會參議院已經(jīng)投票通過了保護兒童免受危險網(wǎng)絡(luò)內(nèi)容侵害的《兒童網(wǎng)絡(luò)安全法案》，明確規(guī)定了社交媒體公司對未成年人使用其產(chǎn)品負有的義務(wù)。
在中美技術(shù)脫鉤加劇、美國對中國AI技術(shù)越發(fā)忌憚之時，中國公司的AI聊天應(yīng)用勢必會在美國受到更加嚴格的審視和監(jiān)管，塞維爾之死將加速這一時刻的到來。（財富中文網(wǎng)）
財富中文網(wǎng)所刊載內(nèi)容之知識產(chǎn)權(quán)為財富媒體知識產(chǎn)權(quán)有限公司及/或相關(guān)權(quán)利人專屬所有或持有。未經(jīng)許可，禁止進行轉(zhuǎn)載、摘編、復制及建立鏡像等任何使用。
