概述

Ray是一个开源的分布式计算框架，专为大规模的机器学习和人工智能工作负载设计。它提供了一种简单的方式来构建和运行分布式应用程序。Ray通过其强大的任务调度和资源管理能力，使得LLMs能够在多个节点和GPU上高效运行，从而提高了模型训练和推理的性能。Ray框架特别适合于需要大量并行处理和高吞吐量的场景，例如在自然语言处理、机器学习和科学计算。通过Ray开发者可以轻松地将LLMs，例如GPT-3等这类模型部署为服务，提供实时的文本生成和理解能力。此外，Ray还能够优化LLMs的内存使用和计算资源，通过技术如连续批处理（continuous batching）和模型量化策略等，进一步提升了LLMs在实际应用中的效率和性能。

Ray 作为一个开源的分布式计算框架，用于构建和训练AI应用程序。每个 Ray 集群中都有一个节点，该节点被指定为集群的头节点，头节点与其他工作节点相同，只是它还运行负责集群管理的单例进程，工作节点不运行任何头节点管理进程，仅用于运行 Ray 任务和 Actor 中的用户代码。Ray DashBoard 通常启动在头节点中，通过 DashBoard 启动的 API 服务向集群节点下发各类任务。而 CVE-2023-48022 是一个影响 Ray 项目的远程代码执行（RCE）漏洞，该漏洞利用在默认情况下，启动在8265端口上的API服务未采取任何的身份校验问题，导致出现允许未经授权的攻击者在目标系统上远程执行任意代码的风险。

该漏洞支持多种方式触发利用：

• 直接请求API下发恶意的Jobs

• 利用官方SDK下发恶意的Jobs

CVE-2023-48023漏洞允许未经授权的访问DashBoard API，可能导致攻击者提交或删除作业，检索敏感信息甚至执行任意代码。这可能会导致LLMs的高性能计算资源被恶意利用，例如用于加密货币挖掘，造成资源损耗和潜在的经济损失。此外，攻击者可能会通过漏洞泄露LLMs模型的训练数据或生成敏感信息，对数据隐私和安全造成威胁。这些安全问题不仅影响了LLMs的稳定性和可靠性，还可能导致企业和用户的信誉受损。

此次在公网上直接裸露的Ray系统存在极高的ShadowRay漏洞被利用的安全风险，经绿盟科技NTI全网测绘发现存在300+AI服务器资产，仅中国域内资产就达70多，地域分布如下图所示：

截至到4月初，仍有56个服务器暴露在公网，存在安全风险，其中部分服务器已被攻击。

大模型时代下，MLOps环境中包含多种重要的AI基础设施服务，这些服务基于集群内与集群间机制相互通信，其中不仅包含了训练与微调时的核心模型及数据，还存放着可以访问其他三方服务（模型SaaS服务等）所需的API信息以及密钥。ShadowRay作为首个已知的针对AI工作负载的在野攻击活动，攻击造成数据泄露、服务中断和计算能力被恶意控制等风险，也充分说明了AI时代下基座安全保护的重要性，AI基础设施环境下的单点威胁足以让整个企业的业务瘫痪。因此，企业在构建自身LLMs业务应用环境的同时，需要重视这些安全问题，加强基座安全建设以确保LLMs资源的安全与可靠运行。

绿盟科技天元实验室专注于新型实战化攻防对抗技术研究。

研究目标包括：漏洞利用技术、防御绕过技术、攻击隐匿技术、攻击持久化技术等蓝军技术，以及攻击技战术、攻击框架的研究。涵盖Web安全、终端安全、AD安全、云安全等多个技术领域的攻击技术研究，以及工业互联网、车联网等业务场景的攻击技术研究。通过研究攻击对抗技术，从攻击视角提供识别风险的方法和手段，为威胁对抗提供决策支撑。

M01N Team公众号

聚焦高级攻防对抗热点技术

绿盟科技蓝军技术研究战队

官方攻防交流群

网络安全一手资讯

攻防技术答疑解惑

扫码加好友即可拉群