这些漏洞是内在的实现漏洞，可造成严重后果如任意代码执行、恶意数据集加载等。MLOps 平台提供设计和执行ML模型管道的能力，其中模型注册表当作存储和版本训练ML模型的仓库。这些模型随后被嵌入应用程序或使其它客户端通过API进行查询（即模型即服务）。

JFrog 公司发布报告提到，“内在漏洞是指由目标技术中所用的底层格式和进程所引发的漏洞。”这些漏洞包括利用模型支持加载后自动执行代码的事实，滥用ML模型运行攻击者所选代码。这一行为还可扩展到允许自动代码执行的某些数据集格式和库，从而在加载公开可用的数据集时，执行恶意攻击。

另外一种内在漏洞实例与 JupyterLab（此前成为“Jupyter Notebook”）有关，它可导致用户执行代码块并查看相应结果。研究人员提到，“很多人不知道的一个内在问题是在Jupyter中运行代码块时，处理HTML输出。Python代码的输出可能发出HTML和JavaScript，从而由浏览器渲染。”

问题在于，运行过程中的JavaScript结果并未从父 web 应用中进行沙箱隔离，父web应用可自动运行任意Python代码。换句话说，攻击者可输出恶意 JavaScript代码，在当前 JupyterLab notebook中增加新的cell，在其中注入 Python 代码，之后进行执行。当利用XSS漏洞时，更是如此。

为此，JFrog 表示，在MLFlow中发现一个XSS漏洞（CVSS评分7.5），是因为在运行不可信的recipe时缺乏充分清理造成的，可导致在 JupyterLab中的客户端代码执行后果。研究人员表示，“我们从研究结果中学到的一点是，我们需要将ML库中的所有XSS漏洞都视作潜在的任意代码执行漏洞，因为数据科学家们可能使用会与Jupyter Notebook一起使用这些ML库。”

第二类漏洞与实现弱点有关，如MLOps平台中缺乏认证、可导致具有网络访问权限的威胁行动者通过滥用ML Pipeline特性获得代码执行能力。这些威胁并非存在于理论之中，受利益驱动的攻击者会滥用这类漏洞如未修复的 Anyscale Ray 漏洞CVE-2024-48022（CVSS评分9.8）来部署密币挖矿机。

第二种实现漏洞是针对 Seldon Core的容器逃逸漏洞，不仅使攻击者执行代码，还可在云环境中横向移动并通过将恶意模型上传到引用服务器的方式访问其它用户的模型和数据集。组合利用这些漏洞可使攻击者渗透并在组织机构中进行传播，而且攻陷服务器。

研究人员表示，“如果部署的平台允许模型提供，那么应该知道任何人实际上可在该服务器上运行任意代码。确保运行该模型的环境完全隔离并针对容器逃逸进行加固。”

Palo Alto Networks Unit 42 公司详述了位于开源的 LangChain 生成式AI框架中的两个已修复漏洞CVE-2023-46299和CVE-2023-44467，它们分别可导致攻击者执行任意代码并访问敏感数据。

上个月，Trail of Bits 公司披露了位于 Ask Astro 中的四个漏洞，可投毒该聊天机器人的输出，给出不准确的文档并可能引发拒绝服务攻击。

就在受人工智能驱动的应用中暴露安全问题时，这些技术也被用于投毒训练数据集，最终目标是诱骗大语言模型生成易受攻击的代码。康涅狄格大学的研究团队表示，“和最近将恶意payload嵌入可检测部不相关代码的攻击不同，CodeBreaker 利用大语言模型进行复杂的 payload 转换（不影响功能），确保针对微调和生成代码的投毒数据能够躲避强大的漏洞检测。”

奇安信代码卫士 (codesafe)

国内首个专注于软件开发安全的产品线。

    觉得不错，就点个 “在看” 或 "赞” 吧~