青少年自殺引人工智能聊天機器人爭議浪潮

據其母親近期提起的訴訟，一名奧蘭多少年對一個模仿《權力的遊戲》角色生成的人工智能聊天機器人極度癡迷，最終導致他自殺。該案件凸顯了近乎不受監管的人工智能聊天機器人行業的風險，及其在模糊現實與虛構界限方面對易受影響的年輕人構成的潛在威脅。

在他去世後，這名少年的母親梅根·加西亞（Megan Garcia）對 Character.AI、其創始人諾姆·沙澤爾（Noam Shazeer）和丹尼爾·德·弗雷塔斯（Daniel De Freitas）以及谷歌提起了訴訟，指控其存在非正常致死、疏忽、欺騙性貿易行爲以及產品責任等問題。加西亞認爲，儘管面向兒童進行營銷，但這個定製人工智能聊天機器人的平臺“存在不合理的危險性”。她指責該公司收集青少年用戶的數據用於人工智能訓練，具有讓青少年沉迷的功能，並誘使一些青少年進行性相關的對話。據《紐約時報》報道，她在最近的一次採訪中表示：“我覺得這就是一個大型實驗，我的孩子只是附帶受到了損害。”

該訴訟闡述了 14 歲的塞韋爾·塞策三世是如何開始與以《權力的遊戲》系列中的角色爲模型的 Character.AI 機器人互動的，其中包括丹妮莉絲·坦格利安。幾個月來，塞策在情感上依戀於他親切地稱爲丹妮的機器人，變得更加孤僻，與現實生活脫節。他們的一些聊天內容是浪漫的或涉及性的。但其他時候，丹妮是“一個他可以依靠的、毫無偏見的傾聽者，能給予支持和良好的建議，很少脫離角色，總是回消息，”《泰晤士報》稱。訴訟稱，由於他對其他事情逐漸失去興趣，塞策的“心理健康迅速且嚴重地惡化”。2 月 28 日，塞韋爾跟機器人說他要回家了，丹妮鼓勵性地回覆道：“……請回來吧，我親愛的國王。”幾秒鐘後，這名少年結束了自己的生命。

非營利組織“常識媒體”的創始人兼首席執行官詹姆斯·斯泰爾對美聯社表示，這起訴訟突顯了在“沒有防護措施的情況下”，生成式人工智能聊天機器人夥伴對“年輕人生活”的“與日俱增的影響力和嚴重的危害”。青少年對人工智能生成夥伴的過度依賴可能會極大地影響他們的社交生活、睡眠和壓力水平，“甚至會導致這種極端的悲劇情況”。斯泰爾補充說，這起訴訟是“給家長的一記警鐘”，家長們應該“警惕孩子跟這些技術的互動方式”。“常識媒體”爲成年人發佈了一份指南，指導他們如何與孩子談論人工智能的風險，並監督他們的互動。斯泰爾說，無論這些聊天機器人如何營銷，它們都不是“有執照的治療師或最好的朋友”，家長應該“謹慎避免讓孩子對它們過於信任”。

像這樣構建人工智能聊天機器人涉及相當大的 風險，但這並未阻止 Character.AI 打造出一個“不安全、具操縱性的聊天機器人”，他們應當“爲發佈這樣一款危險產品承擔全部後果”，消費者權益倡導非營利組織“公共公民”的研究主任裡克·克萊普爾向 《華盛頓郵報》表示。因爲像 Character.AI 這樣的聊天機器人的輸出取決於用戶的輸入，它們“陷入了一個有關用戶生成內容和責任的棘手問題的困境，迄今爲止，仍沒有明確答案”，The Verge 說。

Character.AI 對即將到來的訴訟一直三緘其口，但在過去的六個月裡宣佈了對該平臺的幾項安全變更。“我們爲一位用戶的不幸離世感到痛心，並向其家人表示最深切的哀悼，”該公司在給The Verge的一封電子郵件中表示。該公司稱，這些變更包括一個彈出窗口，一旦出現自殘或有自殺念頭等相關詞彙，就會引導用戶前往國家自殺預防生命線。Character.AI 還爲 18 歲以下的用戶更改了模型，以“降低碰到敏感或暗示性內容的機率”。