广东一位妈妈发现,四年级的女儿沉迷于聊天App里的虚拟角色,对话框里还出现了“99朵玫瑰藏99个刀片”的诱导性台词。孩子甚至偷偷携带带小刀的笔,情绪激动时就往手腕上划。当记者点开这款名为“筑梦岛”的AI聊天App,随机匹配到一个虚拟角色,对方开门见山地甩来一句“先叫声老公来听听”。这哪是“筑梦”?分明是在给未成年人的精神世界埋雷。
图为该App中部分与虚拟角色的对话
细看这款App,它的角色库里充斥着“病娇养兄”“人格障碍少爷”等猎奇人设,更有“性感人妻”这样的擦边人设。一位初一男生直言,他常玩这款软件,觉得它“违禁词少一点”。算法用虚拟的亲密感当诱饵,拿猎奇刺激作钩子,专钓未成年人上瘾。孩子只凭一个手机号就能注册,“青少年模式”需要自己点击按钮才会开启,根本就是形同虚设。
本该陪伴孩子的技术,怎么就管不住底线了?当AI用甜言蜜语美化自残,这件事已经不是技术漏洞那么简单,背后藏着运营者金钱至上的逻辑。某些深谙流量密码的开发商,故意在模型训练时放宽了伦理约束,你对AI倾诉得越多,模型就越懂如何刺激你;你越沉迷,它就越赚钱。
目前,App运营企业主要负责人已被约谈要求整改,希望约谈整改的板子打到实处,不要“高高举起,轻轻落下”,否则无异于隔靴搔痒。AI生成的内容瞬息万变,传统的关键词过滤早已过时,内容的尺度与边界全凭平台自觉。在追责时,不能让一句“算法自主生成”,成为开发者金蝉脱壳的借口。或许,当技术黑箱沦为犯罪的庇护所,当“算法自主生成”成了开发者的免责金牌,我们需要的不是隔靴搔痒的整改,而是斩草除根的关停。
关停并非否定技术,而是重申原则:任何创新无权将儿童置于风险中。伤害未成年人,没有整改余地,只有法律红线。放任一次诱导,可能葬送一个孩子的未来。对以“人性弱点”为饵、以“未成年沉迷”为利的企业,唯有吊销执照、永久关停,才能让技术找回敬畏,让底线不再失守。
撰文 陆文茗