新研究揭示开源AI模型安全风险：若脱离限制运行或将被黑客劫持

IT之家 1 月 30 日消息，路透社 1 月 29 日援引一项最新研究称，开源大语言模型若脱离主流平台的护栏与限制，在外部计算机上运行，就可能成为黑客与犯罪分子轻易劫持的目标，带来新的安全漏洞与风险。

研究人员表示，攻击者可以直接针对运行大语言模型的主机下手，随后操控模型生成垃圾信息、编写钓鱼内容、发动虚假信息宣传，从而绕开大型平台原有的安全机制。

这项研究由 SentinelOne 与 Censys 两家网络安全公司历时 293 天联合完成，并独家提供给路透社，揭示了数千个开源大语言模型部署背后潜在的非法用途规模。研究人员称，风险场景涵盖黑客攻击、仇恨言论与骚扰、暴力血腥内容生成、个人数据窃取、诈骗与欺诈，甚至在个别情况下还涉及儿童性虐待材料。

研究人员指出，开源大语言模型变体数量庞大，互联网上可访问的运行实例中，相当一部分来自 Meta 的 Llama、谷歌 DeepMind 的 Gemma 等主流模型的衍生版本。IT之家从报道中获悉，部分开源模型自带护栏，研究仍发现数百起护栏被明确移除的情况。

SentinelOne 情报与安全研究执行主任 Juan Andres Guerrero-Saade 强调，行业对于安全控制的讨论正在“忽略一种明显存在的剩余能力”，开源算力正在被用于各种用途，其中既有合法用途，也有明显的犯罪用途。Guerrero-Saade 把这种现象比作一座尚未被行业与开源社区充分纳入视野的“冰山”。

研究团队重点分析了通过 Ollama 部署、对公众开放访问的开源大语言模型实例。Ollama 是一种工具，个人或机构可在本地运行不同模型的自有版本。

研究人员在约四分之一的观察对象中能够读取系统提示词，也就是决定模型行为的核心指令。在这些可见提示词中，7.5% 被判断可能会为有害行为提供支持。

全球人工智能治理中心 CEO 兼创始人 Rachel Adams 在邮件中表示，开放模型一旦发布，责任就不再只属于单一主体，而是生态系统共同承担，包括最初发布模型的实验室。实验室不可能对所有下游滥用负责，因为这些行为很难提前预料，但实验室仍负有重要的注意义务，需要预判可预见风险、记录危害，并提供缓解工具与指导，尤其是在全球执法能力不均衡的背景下。

声明：包含AI生成内容