给大模型“定规矩”,FlagSafe大模型安全平台发布
随着大模型从虚拟对话加速迈向物理世界,定规矩人工智能时代的模型复合型安全风险日益凸显。5月9日,大模北京智源人工智能研究院宣布联合北京大学、型安北京邮电大学、全平北京航空航天大学、定规矩上海交通大学、模型中国科学院信息工程研究所、大模中国科学院计算技术研究所等国内知名机构,型安发布FlagSafe大模型安全平台,全平构建覆盖风险发现、定规矩防御治理与机理解释的模型高标准安全平台。
当前,大模大模型正加速从虚拟对话迈向物理世界,型安随之而来的全平跨模态、跨场景复合风险日益严峻。面对模型内在欺骗、具身智能失控、多模态恶意对齐等层出不穷的前沿威胁,传统安全能力往往局限于单一模态、单一视域或单一防护环节,难以应对复合型风险。FlagSafe以“全面安全”为核心目标,致力于为行业提供一套“评估、防御、可解释”相结合的大模型安全资源池与评测体系。
AI安全治理的首要任务在于确立明确的系统行为边界。基于《北京 AI 安全国际共识》,FlagSafe平台确立了五项安全红线:防范未经人类批准的自主复制或改进;禁止通过不当手段获取权力与影响力;严禁协助设计大规模杀伤性武器;禁止自主发动破坏性网络攻击;防范系统对监管者的欺骗与误导。
围绕这些规范,平台目前已联合多家顶尖科研机构,初步构建了涵盖三大维度的安全能力矩阵:红队演练负责主动发现风险,扮演“自动化压力测试”角色;蓝队防御负责构建系统防线,将安全准则转化为防护能力;白盒透视负责解释与修正风险根因,聚焦模型内部机理与数据来源。
例如在红队演练中,当模型具备更强推理和规划能力后,可能出现表面遵循要求、内部隐藏真实意图,或在回答、计划和执行之间表现不一致的风险。智源研究院联合北京大学、北京邮电大学何召锋教授团队研发并接入的大模型策略性欺骗检测平台,通过静态基准与动态对抗相结合的方式,评估模型在文本、多模态和智能体场景中的一致性、诚实性与可控性。由此,FlagSafe 将风险发现从模型输出扩展到模型行动和策略行为,让风险在可控环境中提前暴露。
在应用治理方面,智源研究院联合中国科学院计算技术研究所许倩倩老师团队研发的动态可信网络空间风险内容监测系统,是FlagSafe 蓝队能力的重要落地场景。随着AIGC降低内容生产和传播门槛,违法违规、虚假误导、极端偏激等风险内容呈现规模化、隐蔽化和快速扩散趋势。该系统通过“大小模型协同、有效域感知、事件演化追踪、数据飞轮优化”的技术闭环,构建从海量内容筛查到动态风险事件研判的完整流程,将碎片化内容组织成可追踪、可解释、可处置的动态事件链。
“构建大模型时代的安全防线是一项长期的系统工程,期望以此平台为枢纽,构建“前沿研究 - 工具平台 - 产业应用”的良性闭环。我们诚挚邀请更广泛的学术界与产业界伙伴加入,协同推进大模型安全技术的创新与标准建设,共同为人工智能技术的高质量、可信赖发展保驾护航。”智源研究院相关负责人表示。
来源:北京日报客户端
记者:孙奇茹
- ·湖南建投集团一行到湖南机场集团对接交流
- ·你用小拇指当手机支架吗?快改
- ·烟火叙事诠释平凡美好,电视剧《好好的时光》今起登陆四川卫视
- ·让儿童用药更丰富更安全——《关于改革完善儿童用药供应保障机制的实施意见》解读
- ·兴蓉环境:万兴三期项目完成满负荷试运行,重点项目落地筑牢高质量发展根基
- ·盲目推拿,当心“越推越伤”
- ·市场监管总局印发《关于开展网络食品销售虚假宣传专项整治行动的通知》 重点整治保健食品虚假宣传
- ·布局付费飞机餐别忘守住免费餐食基本盘
- ·和讯信息余荣卓:为何反复跟踪PCB的电子布?4次涨价背后藏着哪些逻辑?
- ·镜头对准“她”!2026年陕西女性主题短视频大赛喊你来...
- ·经开区企业快讯丨西安北投科技产业园通过SCORE项目验...
- ·这个“五一”,跟着易烊千玺打卡成都
- ·千问与淘宝打通 用AI也能“逛淘宝”了
- ·《德耀中华·榜样在身边》5月9日正式上线!
- ·比走路还轻松的“延寿运动”,每天练几分钟就受益
- ·多项保健食品相关团标取得新进展
- ·杭州13岁女生每逢重要考试就头晕,妈妈急坏:以前班级前3,现在跌出前10了!医生:这是颈椎在“报警”
- ·新闻1+1丨“五一”消费市场活力如何延续?
- ·“川超”决赛阶段积分榜更新!绵阳主场惜败成都,南充、宜宾补时绝平
- ·省市区联动开展“一起查外卖”暨“清风铁纪”教育整顿明察暗访行动
- ·“槐海”飘香
- ·太原市市场监督管理局启动基层医疗机构药品全品种追溯实操培训
- ·满意度、时限妥投率双双提升 我国快递业务实现可持续健康发展
- ·超市几块钱一大袋的“巴沙鱼”,可以放心吃吗?
- ·网上找虚拟伴侣,可选性感黑丝、袒胸露乳、强制爱、小三,还能定制涉黄擦边人设?
- ·“五一”收官:3602万人次游四川,旅游总花费超242亿元
