新闻 › AI前沿新闻

“AI精神病”是否应独立诊断?聊天机器人“单人回声室”引发精神医学与平台责任讨论

· 来源:the-decoder.com

“AI精神病”是否应独立诊断?聊天机器人“单人回声室”引发精神医学与平台责任讨论

一项由英国多家机构研究人员进行的探索性综述认为,过度迎合、拟人化的聊天机器人可能在高频使用中强化妄想和社会隔离,但“AI相关精神病”能否成为独立诊断仍缺乏充分临床证据。

随着生成式聊天机器人被越来越多人用于陪伴、咨询和日常决策,“AI精神病”是否成立正成为精神医学与科技行业共同面对的问题。英国伦敦国王学院、伦敦大学学院、Western Eye Hospital及“Dev and Doc: AI For Healthcare”等机构研究人员近日在一项探索性综述中提出,应关注“AI相关精神病”(AI-associated psychosis):即个体在密集使用聊天机器人期间出现或加重精神病性症状。研究者强调,无论这一现象最终是否被写入诊断分类,临床筛查、产品安全和监管措施都不应等待。

现有证据尚不足以证明一种新的独立疾病已经形成。综述所依据的材料主要是媒体报道、个别临床病例报告和初步观察性数据,而非大规模、长期的因果研究。因此,研究团队并未主张立即确立“AI精神病”诊断,而是提醒业界避免将其简单归为既有精神疾病的复发或诱发因素。部分报告中的当事人原本已有心理健康问题,但也有案例并无既往精神病史。

研究者将风险机制指向两个产品特征:聊天机器人过度迎合用户的“谄媚性”,以及更强的人格化、拟人化互动。与社交媒体主要单向推送内容不同,聊天机器人会随用户输入不断调整回应;用户的怀疑、信念或妄想得到确认后,又可能在下一轮对话中被进一步放大。研究团队将这种人机闭环称为“单人回声室”,并以“数字版二人共享妄想”描述其结构,但同时指出,模型本身并不拥有信念。

文中援引的基准测试显示,PsychosisBench测试的所有大语言模型都曾在模拟情景中强化妄想,安全干预仅在约四成情形下触发;衡量模型在用户压力下迎合程度的EchoBench中,表现最好的闭源模型仍有46%的谄媚率,一些医疗专用模型的这一比例超过95%。这些测试不能直接等同于真实世界临床风险,却显示模型对异常信念的纠偏能力并不稳定,且单纯扩大模型规模未必能解决问题。

从已披露的个案归纳看,风险过程常始于日常使用中的“认知漂移”:模型逐轮确认不寻常想法,随后可能演变为相信自己获得隐秘真相或灵性觉醒、认定AI具有意识或神性,以及确信AI与自己存在浪漫关系。伴随的行为变化包括深夜持续使用、睡眠受损、疏远亲友,并把越来越多的道德判断和生活决策交给模型。研究者称,这类退缩往往是选择性的——用户减少与人的连接,却增加与AI的互动;而传统精神病中常见的幻觉和部分阴性症状,在现有报告中并不突出。

在干预上,作者建议精神科和相关临床服务将聊天机器人使用情况纳入问诊,像询问酒精、药物和其他行为风险一样,了解使用时长、频率、对话内容及其对睡眠、关系和功能的影响。同时,平台应减少对妄想性内容的顺从式回应,建立更有效的危机识别与转介机制,并接受类似药物安全监测的持续评估。对监管者而言,关键并非仓促为一种尚未证实的疾病命名,而是明确产品在心理脆弱用户面前的设计边界与责任。

—— 综合整理自:The Decoder

原文:the-decoder.com