安全研究员发现能够获得对 Meta 公司的 Bloom、Meta-LIama 和 Pythia 大语言模型 (LLM) 仓库的完全读写权限，证明使用这些仓库将LLM能力集成到应用和运营中的组织机构面临供应链风险。

这些读写权限可使攻击者悄悄在这些使用广泛的 LLMs 中投毒训练数据、窃取模型和数据集并可能执行其它恶意活动，危害数百万下游用户的安全。

暴露在 Hugging Face 上的令牌

AI 安全初创公司 Lasso Security 的研究人员提到，使用从为LLM开发人员服务的 GitHub 和 Hugging Face 平台上找到的不安全 API 访问令牌，他们能够访问Meta 公司的模型仓库。

他们发现的 Meta 平台令牌属于从 Hugging Face 和 GitHub 平台上发现的1500多个类似令牌，可使他们获得对772个组织机构的仓库，其中不乏谷歌、微软和 VMware 这样的大公司。

Lasso 公司的安全研究员 Bar Lanyado 表示，“组织机构和开发人员应当知道 Hugging Face和其它类似平台并非为了保护他们用户被暴露的令牌安全。”他表示，开发人员和平台的其它用户应采取必要措施保护访问权限的安全。

他提到，“运行和集成生成式AI和基于LLM工具时，应进行培训。这项研究旨在了解这类弱点和漏洞，以增强工具的安全性。”

很多 LLM 专业人员都在使用 Hugging Face 平台作为 LLM 项目的工具来源和其它来源。该平台的主要产品包括 Transformers，它是一款为下载和调整预训练模型提供API和工具的开源库。该平台在 GitHub 等平台托管着超过50万个AI模型和25万个数据集，其中包括谷歌、微软、VMware 公司的模型和数据集。用户可通过该平台发布自己的模型和数据集并通过 Hugging Face API 来免费访问其他人的模型和数据集。迄今为止，该平台已从包括谷歌和英伟达等投资者获得约2.35亿美元的融资。

鉴于该平台拥有广泛的用户且流行度高，因此 Lasso 公司的安全研究员决定仔细审计其注册表和安全机制。2023年11月，研究人员尝试查看能够找到被暴露的 API 令牌，访问Hugging Face 平台上的数据集和模型。他们扫描了 GitHub 和 Hugging Face 上的被暴露 API 令牌。最初，扫描仅返回非常少的结果，尤其是 Hugging Face 平台更是如此。但稍微修改扫描流程后，研究员成功找到相对大量的被暴露的令牌。

极易找到被暴露的令牌

Lanyado 表示，“开展研究时，我认为我们能够找到大量被暴露的令牌。但看到研究成果以及能够如此容易地获得对这些令牌，我还是很惊讶。”

研究人员能够获得多家技术巨头甚至是那些安全性很高的公司的令牌访问权限，并且获得对某些令牌的完全控制权限。

研究人员共从 GitHub 和 Hugging Face 平台上发现1976个令牌，其中1681个令牌是合法且可用的。其中，1326个令牌位于 GitHub 上，370个位于 Hugging Face 上。多达655个令牌具有在 Hugging Face 上的写权限。另外一些令牌可使他们完全访问77家使用 Meta-Lama、Pythia 和 Bloom 的组织机构。Lanyado 表示，“如果攻击者能够获得对这些API令牌的访问权限，那么就能够窃取企业的模型，而一些模型实际上是这些企业的主要业务。”具有写权限的攻击者可用恶意模型替换现有模型，或者以他人名义创建新的恶意模型。这些操作可导致攻击者使用受陷模型在所有系统站稳脚跟、窃取用户数据并且/或传播被操纵的信息。

Lanyado 表示，研究人员找到了和 Meta 公司存在关联的一些令牌，其中一个令牌具有对 Meta LIama 的写权限，两个都有对 Pythia 和 Bloom 的写权限。与微软和 VMware 公司相关联的 API 令牌虽然具有只读权限，但可查看所有私密数据集和模型。

研究人员将成果告知所有受影响用户和组织机构，并建议他们撤销已暴露的令牌并从各自的仓库中删除。另外，他们还将问题告知 Hugging Face 平台。报告中指出，“很多组织机构（Meta、谷歌、微软、VMware等）和用户反应迅速并采取负责任的措施。他们在报告发布的同一天撤销了令牌并删除了公开访问令牌代码。”

本文由奇安信编译，不代表奇安信观点。转载请注明“转自奇安信代码卫士 https://codesafe.qianxin.com”。

奇安信代码卫士 (codesafe)

国内首个专注于软件开发安全的产品线。

    觉得不错，就点个 “在看” 或 "赞” 吧~