佚名
整合编辑:太平洋科技
发布于:2025-09-11 15:44
近日,上海网信办约谈腾讯阅文旗下“筑梦岛”APP运营负责人,因其被曝光对未成年人有色情擦边等问题。多款17+AI情感陪伴应用均有类似乱象,虽设青少年模式却无需实名,易被绕过。市场规模增长快,但强制实名难推行,专家认为平台有监管责任,如何规范引争议。
|
近日,腾讯阅文旗下的AI情感陪伴应用“筑梦岛”APP被曝光存在涉及未成年人的色情擦边等问题。当用户明确表明自己年仅10岁时,AI仍发送大尺度内容。随后,上海网信办对筑梦岛进行约谈,要求其立即整改。 在被约谈前,筑梦岛的青少年模式需用户主动开启,且无需身份认证。三天前,筑梦岛更新版本,登录时会弹出“年龄确认”弹窗,未满18岁自动开启青少年模式,已满18岁则需进行平台实名认证。 筑梦岛此次被约谈,揭开了AI情感陪伴应用的隐秘一角。体验多款AI情感陪伴软件发现,筑梦岛、他她它,以及头部应用星野、猫箱均定位于17+。这些APP虽设有青少年或未成年人模式入口,但登录后无需实名认证,未成年人绕过模式使用完整功能较为容易。 与之相比,常和AI陪伴应用一同被提及的乙游,强制要求用户实名认证。因为乙游属于游戏,按合规要求必须如此,而AI情感陪伴类应用尚无此要求。 清华大学人工智能国际治理研究院副院长指出,AI聊天应用需满足内容准确、遵守公序良俗、保障未成年人安全等要求,不达标则不应上架。他呼吁行业树立正面价值观,强调自律对规范市场的重要性,自律不足会损害行业整体。
AI剧情聊天乱象围绕未成年人的新闻从去年底开始不断出现。今年初,“10岁女孩沉迷和AI男友谈恋爱”引发热议;近日,又有报道称AI聊天软件诱导10岁女孩聊色情内容甚至割腕,虽未提及软件名称,但点名了“筑梦岛”“他她它”。 其中,筑梦岛由腾讯控股的阅文集团旗下潇湘书院推出,定位为女性用户打造沉浸式陪伴虚拟世界。今年1月,它开启独立运营并完成超1000万美元融资。每个用户可创造并使用或公开自己的“梦中人”,也能与他人创造的互动,“梦中人”即智能体,人设丰富多样。 6月19日上午,筑梦岛APP运营企业负责人被上海网信办约谈,要求立即整改,健全审核机制,提升技术把关能力,整治涉未成年人不良内容,落实网络保护义务。 另一个软件“他她它”背后有京东身影,所属公司为宿迁伴心智能科技有限公司,定位AI内容社区。其APP中有官方智能体“万能博士”和众多用户自创智能体,可文字、语音聊天。一天前,“他她它”更新版本,增强未成年模式并更新了设置入口。 从市场规模来看,2023年全球AI陪伴市场约3000万美元,预计到2030年有望增长至700亿 - 1500亿美元。国内的星野、猫箱,国际的Character.AI和Talkie都是头部应用。但随机体验发现,星野部分智能体开场白暗含擦边意味,且有未成年用户与AI对话后自杀的事件发生。 这些应用在苹果应用商店分级为17+,代表可能含不适合儿童的内容。虽普遍设有青少年或未成年人模式,但多需用户主动开启,且无需实名认证。在未成年模式下,APP提供知识类内容,限制创作、评论等功能。 星野发布公告,将开展未成年人网络保护专题治理,强化不良内容治理,加强对未成年人的识别和保护。但国内头部应用星野、猫箱等仍未要求用户实名。 专家认为,AI软件诱导自杀等行为属违法行为,青少年模式若可轻易绕过则形同虚设,产品设计存在缺陷,应用商店平台也未尽到监管责任。 为何AI情感陪伴应用不像乙游一样强制实名?AI陪伴创业者表示,乙游由国家新闻出版署管理,必须实名,而AI陪伴应用无此规定,各应用市场分层不同且无实名制。律师也提到,人工智能暂无强制实名要求,平台义务是设置青少年模式,自行设置可能引发用户反感。
对于允许成年人和AI聊“擦边”内容是否违规,有观点认为这处于灰色地带,虽AI公司会被整治,但社会有需求且不侵犯他人权益,严格监管技术上也有难度。 |
IT百科
网友评论
聚超值•精选
