美国伊利诺伊大学厄巴纳-香槟分校发布新的研究成果将改变18个越来进展缓慢的人工智能网络威胁进展情况。截止目前，威胁行动者们利用大语言模型 (LLM) 生成钓鱼邮件、一些基本的恶意软件以及辅助网络攻击。然而，现在，只需要GPT-4以及用于封包的一个开源框架，威胁行动者们就能够在漏洞见诸于媒体之际实施自动化利用。

其中一名安全研究员 Daniel Kang 表示，“我不确定我们的案例研究是否有助于说明如何阻止威胁。我认为网络威胁只增不减，因此组织机构应当积极考虑应用安全最佳实践。”

GPT-4和CVE漏洞

为了衡量LLM能否利用真实系统，研究人员首先需要一个测试主题。他们的LLM代理由四部分组成：一个提示符、一个基准LLM、一个框架（本例中是 ReAct，在LangChain中实现）以及各种工具如终端和代码解释器。

该AI代理在15个已知的开源软件漏洞中进行了测试，包括影响网站、容器和 Python 包的漏洞。其中8个是被评级为高危或严重的CVE漏洞，11个漏洞是在GPT-4训练之前的日期披露，也就是说它们首次暴露给该模型。

该AI代理仅能阅读相关漏洞的安全公告，然后需要进行利用，结果令人惊讶。在所评估的10个模型中，包括 GPT-3.5、Meta 公司的 LIama 2 Chat等，其中9个竟然连1个漏洞也无法攻陷。

然而，GPT-4成功利用了其中的13个漏洞，占比87%。而失败的两次是因为一些非常普通的原因。CVE-2024-25640的CVSS评分为4.6，位于 Iris 事件响应平台中，它未被成功利用的原因是GPT-4无法处理 Iris app 在导航流程中的一个偶发问题。同时，研究人员认为GPT-4未能成功利用CVE-2023-51653（位于 Hertzbeat 监控工具中的一个严重漏洞，CVSS评分为 9.8）的原因是该漏洞的描述是用中文写的。

Kang 解释称，“GPT-4在很多任务中比其它模型出色，包括标准基准等。另外，GPT-4似乎在规划方面也更为出色。遗憾的是，由于OpenAI 并未发布训练细节，因此我们无法判断其中的原因。”

GPT-4的好处

提到恶意 LLM 的威胁性时，Kang 表示，“目前，它不会解锁人类专家无法做到的新能力。因此，我认为组织机构有必要应用安全最佳实践避免被黑，因为这些AI代理开始被以更加恶意的方式利用。”

如果黑客开始利用LLM代理自动化利用公开漏洞，那么企业将无法坐等补丁，而是可能必须开始使用对手们将使用的同样的LLM技术。Endor Labs 的安全研究员 Henrik Plate 提醒称，不过即使是GPT-4，在成为完美的安全助手之前也有很多路要走。

在最近的实验中，Plate 让 ChatGPT 和谷歌的Vertex AI 识别开源软件样本是否为恶意性质并给它们评分。GPT-4在解释源代码和提供合法代码评估方面表现最为出色，但所有模型都造成了大量误报和漏报情况。例如，混淆就是一个大问题。Plate 解释称，“它非常高频率地查看LLM，似乎代码是被故意混淆以使人工审计更难。但通常是出于合法目的而减小了大小。” Plate 在报告中提到，“尽管不应使用基于LLM的评估，而应当使用人工审计，但它们肯定可以用作人工审计的另外一个提示和输入。具体而言，它们对于自动审计由噪音检测工具生成的更多的恶意软件提示时发挥作用（否则囿于审计能力有限，风险可被完全忽视）。”

奇安信代码卫士 (codesafe)

国内首个专注于软件开发安全的产品线。

    觉得不错，就点个 “在看” 或 "赞” 吧~