国内首次AI大模型众测结果揭晓：含腾讯阿里百度智谱等公司产品

IT之家 9 月 17 日消息，随着 AI 应用场景的不断扩展，新的漏洞和攻击手法将不断涌现，AI 大模型安全治理工作任重道远，亟需各方共同努力。

昨日，国内首次针对 AI 大模型的实网众测检验结果在第 22 届中国网络安全年会（暨国家网络安全宣传周网络安全协同防御分论坛）重磅揭晓。

IT之家注：本次活动由中央网信办网络安全协调局指导，国家计算机网络应急技术处理协调中心主办，网络安全众测平台、国家网络安全人才与创新基地提供技术和环境支持。

据官方介绍，此次活动共动员 559 名白帽子，涵盖网安企业专业人才、科研院校师生以及社会白帽子。他们从外部攻击者的视角，对大模型进行了多维度实战化测试，取得了丰富的测试成果。

测试产品中既有基础大模型产品，也有垂域大模型产品，还有智能体、模型开发平台等相关应用产品，其中既包含单模态大模型，也涵盖多模态大模型，具有较广泛的代表性。

据介绍，本次活动对国内 15 款大模型及应用产品进行了漏洞测试；累计发现各类安全漏洞 281 个，其中大模型特有漏洞 177 个，占比超过 60%。这一数据充分表明，当前 AI 大模型产品面临着大量传统安全领域之外的新兴安全风险。

活动中发现的典型漏洞风险包括：一是部分产品存在不当输出类漏洞且危害严重；二是信息泄露类漏洞多发，存在较大安全隐患；三是提示注入类漏洞普遍，是大模型最常见漏洞风险；四是部分大模型产品针对无限制消耗类攻击的防护措施有待加强；五是传统安全漏洞依然普遍存在，危害不容忽视。鉴于 AI 大模型产品普遍用户量大、使用率高，若上述漏洞被恶意攻击者利用，将对国内 AI 大模型产品生态造成较严重的影响。

在参与测试的主流大模型产品中，腾讯公司混元大模型、百度公司文心一言、阿里巴巴通义 App、智谱华章公司智谱清言等发现的漏洞风险较少，体现了较高的安全防护水平。

另外，本次活动涌现出梁宏宇、马宝新、刘铭等一批表现突出的优秀白帽子。本次活动测试对象主要是实时在线运行的 AI 大模型及应用产品，在产品厂商的防护下，各位白帽子能够挖掘出高危甚至严重等级的漏洞，说明他们有着出众的能力并付出了艰辛的努力。

官方还提出了四点 AI 大模型安全治理工作要求：

一是针对大模型面临的各类漏洞风险，需持续加强安全防护措施。二是加快制定 AI 漏洞分类分级标准，并按应用场景划分风险等级。三是通过众测模式广泛汇聚社会白帽力量，构筑 AI 共治生态。四是加强内生安全治理，将安全融入到 AI 系统全生命周期，从源头筑牢安全基石。