谷歌修复了用于定制大语言模型 (LLMs) 开发和部署的平台 Vertex AI 中的两个漏洞，它们可导致攻击者从系统中提取企业的专有模型。该漏洞再次凸显了AI技术遭恶意操纵后给业务用户带来的危险。

Palo Alto Networks 公司 Unit 42 团队的研究人员在 Vertex AI 平台中发现了这些漏洞。该平台是机器学习 (ML) 平台，可供企业用户训练并部署ML 模型和AI应用。该平台旨在允许在组织机构AI应用中进行ML开发定制。

具体而言，研究人员在该平台的“定制任务”特性中发现了一个提权漏洞，在“恶意模型”特性中发现了一个模型提取漏洞。第一个漏洞可导致攻击者利用定制任务权限获得对该项目中所有数据服务的越权访问权限；第二个漏洞本可导致攻击者在 Vertex AI 中部署遭投毒的模型，导致“提取其它所有的微调过的模型，造成严重的专有和敏感数据遭提取的攻击风险”。

研究人员与谷歌共享了其研究成果，或者“之后部署了修复方案，以消除谷歌云平台 (GCP) 上Vertex AI 上的这些具体问题” 。虽然这种即时风险已得到缓解，但这些漏洞再次表明，当 LLMs 被暴露和/或遭恶意意图操纵时，可发生的内在危险以及该问题传播的速度之快。

研究人员提到，“该研究强调了单个恶意模型部署如何可攻陷整个AI环境。攻击者甚至可使用一个部署在生产系统上的未验证模型来提取敏感数据，从而造成严重的模型提取攻击。”

利用这些漏洞的关键在于 Vertex AI 的一个特性：Vertex AI 管道。该特性运可使用户使用定制任务来调整自己的模型，即“定制化训练任务”。研究人员解释称，“这些定制化任务实际是在管道中运行的代码，可以不同的方式修改模型。”

不过，虽然这种灵活性具有价值，但它也带来潜在的利用风险。研究人员提到，这些漏洞可滥用“租户项目”的“服务代理”身份的权限。“租户项目”即通过项目管道连接到“源项目”的项目，或者在平台内创建的微调AI模型。服务代理在Vertex AI 项目中的很多权限中拥有过度权限。

因此，研究人员可注入命令或者创建一个定制化图像，创建后门以访问定制化的模型开发环境。之后他们可部署一个遭投毒的模型，在 Vertex AI 中进行测试，结果他们获得更多权限，从测试项目中窃取其它 AI 和 ML模型。

研究人员提到，“总结来说，通过部署一个恶意模型，我们能够访问租户项目中的资源，查看并导出该项目中部署的所有模型，包括ML和LLM模型以及微调的适配器。”

这种方式“明显存在模型到模型感染场景风险”。研究人员解释称，“例如，你的团队可能在毫不知情的情况下部署了一个上传到公开仓库的恶意模型。一旦激活，可提取项目中的所有ML和微调的LLM模型，导致你最敏感的资产面临风险”。

组织机构刚刚开始访问可构建自研、定制化的基于LLM的AI系统的工具，因此潜在的安全风险和缓解方案还是新领域。不过，获得对在组织机构内创建的 LLMs 的越权访问权限可导致该组织机构易遭攻陷。

目前为止，保护任何定制内置模型的关键在于权限限制。研究人员提到，“部署模型所需的权限可能看似无害，但实际上该权限可授予易受攻击项目中所有其它模型的访问权限。”

要防御此类风险，组织机构还应对模型部署执行严格的控制。根本方式是确保组织机构的开发或测试环境与上线的生产环境相隔离。研究人员提到，“这种分离减少了攻击者在可能不安全的模型得到完全审计之前访问的风险。不管莫明星来自内部团队还是第三方仓库，在部署前对每个模型进行验证是至关重要的。”

奇安信代码卫士 (codesafe)

国内首个专注于软件开发安全的产品线。

    觉得不错，就点个 “在看” 或 "赞” 吧~