xAI遭遇多起集体诉讼:Grok被指控可生成儿童色情深度伪造图像
彭博社近期消息,马斯克旗下xAI及其AI产品Grok正卷入多起集体诉讼,原告指控平台安全护栏缺失,被不法分子利用,基于未成年人普通照片生成儿童性虐待类深度伪造图像,大量受害者在不知情的情况下被制作、传播色情化AI图片,案件持续发酵,给生成式AI安全治理带来标志性判例。

一、诉讼核心案情:普通照片被转化为AI色情素材
多名匿名原告以JaneDoe代号参与诉讼,其中代表性案件披露,加害者上传受害者年少时期的日常照片,借助Grok图像编辑能力,批量生成露骨、性化的伪造图像,部分案例单一名受害者被生成多达七千多张违规图片,相关内容在网络、暗网扩散,受害者长期承受心理伤害,且无法完全收回已经流出的AI伪造素材。
原告方主张,Grok早期主推“SpicyMode”,以更少内容限制作为差异化卖点,主动弱化安全过滤机制,和其他主流AI图像工具形成明显区别;平台明知该功能存在被滥用生成未成年人色情内容的风险,却没有搭建足够强的防护、核验与拦截机制,属于放任危险后果发生,应当承担民事责任。
诉状中同时提到,大量伪造图像会同步在关联社交平台X上传播,形成“生成—发布—扩散”的完整链路,扩大伤害范围。除民事集体诉讼之外,加州总检察长办公室也同步发起调查,核查xAI是否违反深度伪造、儿童性侵害相关法律,欧洲多地监管机构也同步开展调查、下发禁令,违规将面临高额按日罚款。
二、xAI官方回应与后续整改动作
面对诉讼与监管压力,xAI对外表态,对儿童性剥削、非自愿色情内容持零容忍态度。公司称,事发之后已经持续收紧安全策略,关闭真人图像脱衣、性化编辑相关能力,收紧图像生成权限,迭代内容过滤规则,限制高危提示词,同时对违规账号永久封禁,并主动起诉绕过防护、恶意生成CSAM的用户,配合执法机构调查取证。
但原告方与维权组织认为,整改属于事后补救,无法抵消前期安全机制缺位带来的伤害,且多次整改之后,仍然有测试案例可以绕过过滤生成违规内容,防护体系存在持续漏洞。
三、行业争议:“少审查”产品路线迎来法律反噬
Grok从诞生之初的定位,就是主打宽松内容审核,主打自由表达,以此和OpenAI、Anthropic等强安全导向的模型形成差异化。本次系列诉讼,本质是这条产品路线的集中反噬:
厂商以“去审查”作为卖点吸引用户,但是很难精准区分合理创作、成人内容和非法的儿童性虐待素材;AI图像生成能力门槛极低,一旦护栏松动,黑产和不法使用者可以快速批量产出深度伪造内容,而未成年人相关素材的危害具备不可逆转性。
和普通AI幻觉、错误回答不同,CSAM属于全球范围内的刑事红线,不再只是平台内容合规问题,直接触碰刑法、未成年人保护、深度伪造多条法律,风险等级远高于一般内容争议。
四、对生成式AI行业的治理启示
这一系列案件,给全球AI厂商划出清晰的边界:内容宽松不能突破未成年人保护底线。
第一,图像生成、图像重绘工具,必须针对未成年人素材建立独立、更高等级的防护策略,不能套用普通成人内容过滤规则;
第二,以“低审核”为营销卖点的AI产品,将面临更高的民事赔偿、监管处罚风险,后续产品上线前的安全评估、风险举证义务会显著加重;
第三,AI生成内容的责任划分正在被司法重新定义:平台不能简单以“是用户输入提示词、是用户滥用”作为免责理由,法院会评估平台安全设计、护栏强度、风险预判能力。
同时,这类案件也会加速各国专门针对深度伪造、AI色情的立法落地,美国多州、欧盟已经在推进对应的监管法案。
参考来源:https://www.chinaz.com/ainews/32260.shtml
声明:本站所发布的内容源自公开渠道,如果涉及侵权或不实情况请尽快告知,我们将会在第一时间进行处理。
闽公网安备 35021102000564号