首页 > AI > AI快讯> 正文

筑梦岛等AI情感陪伴应用涉黄擦边,未成年人保护何时到位?

佚名 整合编辑:太平洋科技 发布于:2025-09-11 15:44
由华为云驱动

近日,上海网信办约谈腾讯阅文旗下“筑梦岛”APP运营负责人,因其被曝光对未成年人有色情擦边等问题。多款17+AI情感陪伴应用均有类似乱象,虽设青少年模式却无需实名,易被绕过。市场规模增长快,但强制实名难推行,专家认为平台有监管责任,如何规范引争议。

近日,腾讯阅文旗下的AI情感陪伴应用“筑梦岛”APP被曝光存在涉及未成年人的色情擦边等问题。当用户明确表明自己年仅10岁时,AI仍发送大尺度内容。随后,上海网信办对筑梦岛进行约谈,要求其立即整改。

在被约谈前,筑梦岛的青少年模式需用户主动开启,且无需身份认证。三天前,筑梦岛更新版本,登录时会弹出“年龄确认”弹窗,未满18岁自动开启青少年模式,已满18岁则需进行平台实名认证。

筑梦岛此次被约谈,揭开了AI情感陪伴应用的隐秘一角。体验多款AI情感陪伴软件发现,筑梦岛、他她它,以及头部应用星野、猫箱均定位于17+。这些APP虽设有青少年或未成年人模式入口,但登录后无需实名认证,未成年人绕过模式使用完整功能较为容易。

与之相比,常和AI陪伴应用一同被提及的乙游,强制要求用户实名认证。因为乙游属于游戏,按合规要求必须如此,而AI情感陪伴类应用尚无此要求。

清华大学人工智能国际治理研究院副院长指出,AI聊天应用需满足内容准确、遵守公序良俗、保障未成年人安全等要求,不达标则不应上架。他呼吁行业树立正面价值观,强调自律对规范市场的重要性,自律不足会损害行业整体。

  • 也有AI社交领域人士表示,有技术能力的公司能够解决避免儿童聊色情内容的问题。
  • 部分用户认为,软件有未成年人模式,未成年人仍使用成人模式,责任在于家长疏于管教;
  • 还有用户觉得,应用应限制未成年人,而非限制成年用户对智能体的创作。

AI剧情聊天乱象围绕未成年人的新闻从去年底开始不断出现。今年初,“10岁女孩沉迷和AI男友谈恋爱”引发热议;近日,又有报道称AI聊天软件诱导10岁女孩聊色情内容甚至割腕,虽未提及软件名称,但点名了“筑梦岛”“他她它”。

其中,筑梦岛由腾讯控股的阅文集团旗下潇湘书院推出,定位为女性用户打造沉浸式陪伴虚拟世界。今年1月,它开启独立运营并完成超1000万美元融资。每个用户可创造并使用或公开自己的“梦中人”,也能与他人创造的互动,“梦中人”即智能体,人设丰富多样。

6月19日上午,筑梦岛APP运营企业负责人被上海网信办约谈,要求立即整改,健全审核机制,提升技术把关能力,整治涉未成年人不良内容,落实网络保护义务。

另一个软件“他她它”背后有京东身影,所属公司为宿迁伴心智能科技有限公司,定位AI内容社区。其APP中有官方智能体“万能博士”和众多用户自创智能体,可文字、语音聊天。一天前,“他她它”更新版本,增强未成年模式并更新了设置入口。

从市场规模来看,2023年全球AI陪伴市场约3000万美元,预计到2030年有望增长至700亿 - 1500亿美元。国内的星野、猫箱,国际的Character.AI和Talkie都是头部应用。但随机体验发现,星野部分智能体开场白暗含擦边意味,且有未成年用户与AI对话后自杀的事件发生。

这些应用在苹果应用商店分级为17+,代表可能含不适合儿童的内容。虽普遍设有青少年或未成年人模式,但多需用户主动开启,且无需实名认证。在未成年模式下,APP提供知识类内容,限制创作、评论等功能。

星野发布公告,将开展未成年人网络保护专题治理,强化不良内容治理,加强对未成年人的识别和保护。但国内头部应用星野、猫箱等仍未要求用户实名。

专家认为,AI软件诱导自杀等行为属违法行为,青少年模式若可轻易绕过则形同虚设,产品设计存在缺陷,应用商店平台也未尽到监管责任。

为何AI情感陪伴应用不像乙游一样强制实名?AI陪伴创业者表示,乙游由国家新闻出版署管理,必须实名,而AI陪伴应用无此规定,各应用市场分层不同且无实名制。律师也提到,人工智能暂无强制实名要求,平台义务是设置青少年模式,自行设置可能引发用户反感。

  • 也有AI应用创始人分析,市面上AI聊天应用出现儿童聊色情内容的问题,一是小团队技术力量不足,二是部分公司不够重视甚至借此吸引用户。
  • 律师认为,平台作为服务提供者,若出现未成年人被诱导等问题应承担责任,但禁止AI聊天软件也不可取,“擦边”在法律上难定标准,执法部门通常会进行窗口指导。

对于允许成年人和AI聊“擦边”内容是否违规,有观点认为这处于灰色地带,虽AI公司会被整治,但社会有需求且不侵犯他人权益,严格监管技术上也有难度。

佚名

网友评论

聚超值•精选

推荐 手机 笔记本 影像 硬件 家居 商用 企业 出行 未来
二维码 回到顶部