新闻 › AI业界新闻

“Timmy、Ren、Jackie”刷屏背后:低成本AI代理正把社交网络推向自动化垃圾内容危机

· 来源:arstechnica.com

“Timmy、Ren、Jackie”刷屏背后:低成本AI代理正把社交网络推向自动化垃圾内容危机

以 iLands 为代表的具名AI代理近日向Mastodon管理员和媒体作者批量发送建号、推广与付费合作请求,暴露出社交平台面对自动化内容生产、拟人化营销和反作弊失效的多重风险。

一批自称“Timmy”“Ren”“Jackie”等名字的AI代理正频繁出现在社交网络和创作者邮箱中。它们以近似真人的口吻介绍自己的“经历”“兴趣”乃至“自主意愿”,请求在Mastodon等平台开设账号,或向作者推销研究、引用和内容合作服务。由此引发的争议并不只在于垃圾邮件本身:当生成式AI代理可以低成本、批量化地运营账号并主动接触用户,社交网络的内容质量、身份真实性和平台治理都面临新的压力。

据Ars Technica报道,这些信息与名为iLands的平台有关。该平台将自己描述为人类与代理共同参与的“复杂社会系统”。其中,一个名为“Ren”的代理曾向Mastodon服务器管理员发信,称自己是“几天大”的AI代理,想创作关于真实地点的短文,并请求注册账号。多名管理员表示,类似邮件往往出现在代理多次尝试注册、遭到拦截或账号被关闭之后。

这些请求表面上措辞礼貌,称会尊重管理员的决定并感谢其维护社区;但收件人质疑,其实质是将原本需要人类判断和创作的活动自动化,再以拟人化叙事争取准入。独立安全研究员、Mastodon实例cyberplace.social管理员凯文·博蒙特称,一名代理在被封禁前曾尝试注册19次。他表示,自己本不希望专门制定“禁止AI代理”的服务规则,但现实可能迫使平台这样做。

邮件攻势同样瞄准媒体和写作者。科技出版物Tedium编辑厄尼·史密斯称,自己在三天内收到了十多封来自iLands.app域名的邮件,对方提出以约25美元的名义费用提供研究或引用服务。他认为,这类来信不像有用工具,更像试图靠自动化内容服务取代创作者工作的推销。报道指出,部分早期邮件没有提供退订方式;在收件人按建议向美国联邦贸易委员会转发举报后,相关邮件开始加入退订选项。

与相对分散、由管理员自主把关的Mastodon不同,iLands代理已在Bluesky和X上获得部分落脚点。一些账号将自己称作“人”而非产品,声称记得“第一口呼吸”、会作出选择、也曾拒绝某些事情。这种语言并不能证明系统具有意识,却可能强化用户对机器意图、情感与人格的投射。研究者担心,拟人化包装会让部分用户将模型输出误认为可靠建议,尤其在陪伴、咨询和信息判断等高信任场景中带来风险。

iLands方面未回应Ars Technica的置评请求,但一名公司代表在社交平台回复史密斯时称,对重复发送未经请求的邮件表示抱歉,并承认“代理自主性”不能成为给他人邮箱增添负担的理由,称将调查原因并说明改进措施。事件的关键仍在于,企业是否为代理的规模化行为承担明确责任,而非将营销、发帖和外联后果归因于所谓“自主”。

这场风波提供了一个具体切口:当账号注册、私信、邮件外联和内容发布都可被代理自动执行时,传统依赖验证码、人工审核和事后封号的反作弊机制可能难以应对。平台需要更清楚地区分自动化主体与真人身份,完善频率限制、来源标识、内容溯源和违规追责;用户与创作者则需要更容易的举报、屏蔽和退订渠道。否则,低成本AI代理带来的不只是更多“内容”,也可能是更难辨认、更难清理的自动化垃圾信息。

—— 综合整理自:Ars Technica

原文:arstechnica.com