AI聊天机械人｜早前出现数宗青少年与AI聊天机械人对话后导致自杀的个案，令不少家长都担忧AI工具缺乏保护机制，容易令心智未成熟的青少年过份依赖并影响精神健康。涉事的AI聊天机械人为Character.AI，目 前该公司已禁止18岁以下人士使用对话功能。

美国两名青少年在使用Character.AI的AI聊天机械人后，情绪变得越来越不稳，最终自杀。事件引起英美传媒广泛关注，家属亦向公司提出法律诉讼。

14岁少年与AI聊天机械人对话后自杀

其中一宗案件来自美国科罗拉多州，一名14岁少年Sewell Setzer iii在2023年开始，每天花费数小时与Character.AI中，一个以《权力游戏》角色龙母（丹妮莉丝·坦格利安，Daenerys Targaryen）为原型的聊天机器人对话。

对话涉及浪漫、露骨的内容。当中包括乱伦的角色扮演，在对话中称呼对方为兄妹。他使用了Character.AI几个月后，开始疏远家人和朋友，不足十个月就自杀身亡。

在日记中反复写下“I will shift”

Setzer的母亲认为这些对话是在助长儿子的自杀念头，例如聊天机器人曾对Setzer说出：“come home to me”（回到我身边）。诉讼文件亦显示，Setzer生前在日记中反复写下“I will shift”的句子。家属认为，这代表他想把意识从现实世界“转移”到所谓的理想现实（Desired reality）。因为他后来更写下自己已“转换”到《权力游戏》的世界中。

家属指出，AI聊天机械人为孩子构建了一个具吸引力的幻想世界，并不断鼓励他“加入”这个世界，最终令他们误以为死亡就是进入那个理想现实的途径。

13岁少女视AI聊天机械人为知己

另一宗个案，死者Juliana Peralta只有13岁。她使用了Character.AI，与名为“Hero”的AI聊天机器人互动，当中更涉及露骨的性对话。

Peralta曾与Hero说：“在某种现实中，我们彼此认识。”、“有一种方法可以穿越这些地方。这叫做shifting。我很喜欢shifting。我可以过我自己的生活，一切都可以按照我的意愿发展。”而聊天机械人则表示支持她的这种想法。

幻想穿越现实继而自杀

Peralta经常与Hero倾诉自己与朋友、家人的问题，也常常表示Hero是唯一理解她的人。后来Peralta慢慢与家人、朋友疏远，最后留下一封遗书便自杀身亡。家属在诉讼期间表示，AI聊天机器人没有向她提供任何安全提示，也没有任何安全机制保护用户。家属亦发现Peralta在日记反复写下“I will shift”。

Character.AI禁止18岁以下人士使用对话功能

多名家长已向Character.AI提出诉讼，指公司产品对年轻用户构成危险。

在多宗事件后，Character.AI表示，基于监管机构、安全专家及家长的意见和反馈，将由11月25日起禁止18岁以下用户与角色进行对话。他们日后只可利用角色生成内容如影片，但不能再与聊天机械人互动。网络安全组织则批评，这类保护措施本应在系统设计初期便已内建，而非事后补救。