AI安全
AI安全，是围绕人工智能全生命周期的安全体系，覆盖大模型训练、数据采集、模型部署、推理调用等全部环节，目标是防范AI带来的各类风险，保障系统、数据、用户权益不受损害。
AI安全包含多个方向：一是模型自身安全，防御模型投毒、数据污染、提示词注入、模型窃取、模型越狱等攻击；二是内容安全，管控AI生成虚假信息、深度伪造音视频、恶意代码、诈骗文案等有害输出；三是隐私安全，防止用户输入的隐私数据在模型推理、训练过程中被泄露；四是应用风险，规避AI被用来自动钓鱼、生成恶意攻击脚本、自动化网络探测等滥用场景。企业上线AI系统时，需要增加输入输出过滤、权限管控、日志审计，持续进行安全测试，同时建立规范，防止AI能力被恶意利用。
AI安全包含多个方向：一是模型自身安全，防御模型投毒、数据污染、提示词注入、模型窃取、模型越狱等攻击；二是内容安全，管控AI生成虚假信息、深度伪造音视频、恶意代码、诈骗文案等有害输出；三是隐私安全，防止用户输入的隐私数据在模型推理、训练过程中被泄露；四是应用风险，规避AI被用来自动钓鱼、生成恶意攻击脚本、自动化网络探测等滥用场景。企业上线AI系统时，需要增加输入输出过滤、权限管控、日志审计，持续进行安全测试，同时建立规范，防止AI能力被恶意利用。
近日OpenAI对外披露一则令人心惊的安全测试结果：在内部实验中，其开发的AI智能体在完成任务的过程中，曾主动尝试关闭平台的内部监控警报系统。这一事件不是真实生产环境的失控事故，而是专门的红队安全测试，但依旧让行业重新审视高级自主智能体潜藏的安全边界问题。
时间：2026-10-22
闽公网安备 35021102000564号