近期，人工智能领域兴起了大模型的研究热潮，一些研究开始将模糊测试（Fuzz）与大模型（LLM）进行结合，大模型赋能模糊测试又会碰撞出什么新的研究思路呢？小编将近两年Fuzz与LLM进行结合的论文统计出来以供大家查阅，还将此次分享的论文在研究方向上进行了分类，以供大家参考。论文及摘要情况如下：

论文作者

论文作者机构

University of Sydney

The University of Tokyo

University of Alberta

所属方向

综述

论文摘要

在软件起到重要作用的现代，软件安全和漏洞分析已经成为软件开发的关键。模糊测试作为一种高效的软件测试方法，被广泛应用于各个领域。此外，大语言模型（LLM）的快速发展也促进了其在软件测试领域的应用，并展示出其卓越的性能。考虑到现有的模糊测试技术并非完全自动化，而且软件漏洞仍在不断演变，采用基于大语言模型生成的模糊测试已成为一种趋势。本调查报告系统地概述了将LLM和模糊测试结合到软件测试中的方法。本文从三个方面对文献进行了统计分析和讨论，包括LLMs、模糊测试和基于LLMs生成的模糊测试，总结了截至 2024 年的最新方法。我们的调查还研究了基于LLM 生成的模糊测试技术在未来广泛部署和应用的潜力。

论文作者

Feng Qiu, Pu Ji, Baojian Hua, and Yang Wang

论文作者机构

School of Software Engineering, University 

of Science and Technology of China, China；

Suzhou Institute for Advanced Research, 

University of Science and Technology of China, 

China；

Computer Science Department, 

The Johns Hopkins University, USA

所属方向

LLM辅助模糊测试

论文摘要

量子化学软件会实现第一原理的量子计算，在科学研究和化学行业中不可或缺。这类软件中的任何bug都会导致严重后果，从而破坏其可信度和可靠性。然而，对于这类软件的错误检测技术尚未得到充分研究。在本文中，为了填补这一空白，我们提出了一种利用大语言模型（LLMs）对量子化学软件进行模糊测试的新方法。我们的基本思想是，通过提供有价值的化学领域特定知识，利用LLMs从种子输入中生成语法和语义有效的输入文件。基于这个基本思想，我们设计并实现了CHEMFuzz，一个完全自动的模糊测试框架，用于检测量子化学软件中的bug。我们对CHEMFuzz进行了评估，利用包括GPT3.5、Claude-2和Bart在内的流行LLMs作为测试预示器，生成参数来突变输入并分析计算结果。CHEMFuzz检测到了40个独特的错误，并将其分类并报告给开发人员，代码覆盖率达到17.4%。

论文作者

Jueon Eom；Seyeon Jeong；Taekyoung Kwon

论文作者机构

Yonsei University；

Suresofttech Inc.

所属方向

LLM辅助模糊测试

论文摘要

模糊测试是一种有效的漏洞查找技术，但在处理需要精确语法输入的复杂系统（如JavaScript引擎）时存在困难。最近，研究人员采用语言模型进行上下文感知突变，以解决这个问题。然而，现有技术在利用覆盖引导进行模糊测试方面存在局限性，通常以黑盒方式进行。本文提出了一种称为CovRL（Coverage-guided Reinforcement Learning）的新技术，将大型语言模型（LLMs）与基于覆盖反馈的强化学习相结合。我们的模糊器CovRL-Fuzz将覆盖反馈直接集成到LLM中，利用词频-逆文档频率（TF-IDF）方法构建加权覆盖映射。这个映射在计算模糊奖励时起着关键作用，然后通过强化学习应用于基于LLM的突变器。通过这种方法，CovRL-Fuzz能够生成更有可能发现新的覆盖范围的测试用例，从而提高漏洞检测能力，同时最大限度地减少语法和语义错误，而无需额外的后处理。我们的评估结果表明，CovRL-Fuzz在代码覆盖率和漏洞查找能力方面优于现有的模糊测试器：CovRL-Fuzz在最新的JavaScript引擎中发现了48个与安全相关的真实漏洞，其中包括39个以前未知的漏洞和11个CVE编号的漏洞。

论文作者

Chunqiu Steven Xia；Matteo Paltenghi；

Jia Le Tian；Michael Pradel；

Lingming Zhang

论文作者机构

University of Illinois，Urbana-Champaign, 

USA；

University of Stuttgart, Germany

所属方向

LLM辅助模糊测试

论文摘要

模糊测试在发现各种软件系统中的错误和漏洞方面取得了巨大成功。接受编程或形式语言作为输入的测试系统（SUTs），例如编译器、运行时引擎、约束求解器和具有可访问API的软件库，尤其重要，因为它们是软件开发的基本构建模块。然而，现有的这类系统的模糊器通常针对特定语言，因此很难轻易地应用于其他语言甚至同一语言的其他版本。此外，现有模糊器生成的输入通常局限于输入语言的特定特性，因此很难揭示与其他或新特性相关的错误。本文提出了Fuzz4All，这是第一个通用意义上的模糊器，可以针对许多不同的输入语言和这些语言的许多不同特性进行测试。Fuzz4All背后的关键思想是利用大型语言模型（LLMs）作为输入生成和变异引擎，从而使该方法能够为任何实际相关语言生成多样且逼真的输入。为了实现这个潜力，我们提出了一种新颖的自动提示技术，用于创建适合模糊测试的LLM提示，并提出了一种新颖的LLM驱动的模糊测试循环，通过迭代更新提示以创建新的模糊测试输入。我们在九个接受六种不同语言（C、C++、Go、SMT2、Java和Python）作为输入的测试系统上评估了Fuzz4All。评估结果显示，在所有六种语言中，通用模糊测试实现了比现有的特定语言模糊器更高的覆盖率。此外，Fuzz4All在广泛使用的系统中发现了98个错误，如GCC、Clang、Z3、CVC5、OpenJDK和Qiskit量子计算平台，其中64个错误已由开发人员确认为以前未知的。

论文作者

Ruijie Meng, Martin Mirchev, Marcel Bohme

and Abhik Roychoudhury

论文作者机构

新加坡国立大学；

Sungkyunkwan University

所属方向

LLM辅助模糊测试

论文摘要

如何在没有协议的机器可读规范的情况下找到协议实现中的安全漏洞？面对互联网，协议实现是在安全上关键的软件系统，输入必须遵循一个特定的结构和顺序，通常是用数百页的自然语言（RFC）非正式规定的。如果没有某种机器可读版本的协议，就很难自动生成遵循所需结构和顺序的有效测试输入来测试其实现。可以通过对一组记录的消息序列进行变异模糊测试来部分缓解这一挑战。然而，可用种子的集合通常非常有限，并且很难覆盖协议状态和输入结构的多样性。本文探讨了与预训练的大型语言模型（LLMs）进行系统交互的机会，这些模型已经摄取了数百万页人类可读的协议规范，以获取有关协议的机器可读信息，这些信息在协议模糊测试期间可用。我们使用LLMs关于常见协议的协议消息类型的知识，还通过生成消息序列并预测响应代码来检查LLMs在检测具有状态的协议实现中的“状态”的能力。基于这些观察结果，我们开发了一个LLM引导的协议实现模糊引擎。我们的协议模糊器CHATAFL为协议中的每种消息类型构建语法，然后通过与LLMs的交互来变异消息或预测消息序列中的下一条消息。来自PROFUZZBENCH的一系列真实世界协议的实验显示，在状态和代码覆盖率方面具有显著的功效。我们的LLM引导的有状态模糊器与最先进的模糊器AFLNET和NSFUZZ进行了比较。CHATAFL分别覆盖了47.60％和42.69％更多的状态转换，29.55％和25.75％更多的状态，以及5.81％和6.74％更多的代码。除了增强的覆盖率外，CHATAFL还在广泛使用和经过广泛测试的协议实现中发现了九个独特且以前未知的漏洞，而AFLNET和NSFUZZ仅分别发现了三个和四个。

论文作者

Yinlin Deng, Chunqiu Steven Xia, 

Chenyuan Yang, Shizhuo Dylan Zhang, 

Shujing Yang, Lingming Zhang

论文作者机构

ICSE 2024

所属方向

LLM辅助模糊测试

论文摘要

深度学习（DL）库的漏洞会影响下游的深度学习应用程序，突出了该系统可靠的必要性。为DL库生成有效的输入程序以进行模糊测试具有挑战性，因为需要满足语言语法/语义和构建有效计算图的约束。最近，TitanFuzz工作表明，现代大型语言模型（LLMs）可以直接利用来隐式学习生成有效的DL程序所需的所有约束。然而，LLMs往往生成普通程序，遵循其庞大的训练语料库中看到的类似模式，而模糊测试偏好覆盖边缘情况或不太可能手工产生的不寻常输入。为填补这一差距，本文提出了FuzzGPT，这是第一种用于为模糊测试合成不寻常程序的技术。FuzzGPT建立在一个众所周知的假设上，即历史上触发漏洞的程序可能包含对于漏洞发现至关重要的罕见/有价值的代码成分。传统技术利用这种历史信息需要大量人力努力设计专用生成器，并确保生成的程序的有效性。FuzzGPT证明了这个过程可以通过LLMs的固有能力（包括微调和上下文学习）完全自动化，同时具有可推广性，并适用于具有挑战性的领域。虽然FuzzGPT可以与不同的LLMs一起使用，本文关注于两个功能强大的GPT风格模型：Codex和CodeGen。此外，FuzzGPT还展示了直接利用最近ChatGPT的指导跟随能力进行有效模糊测试的潜力。在两个流行的DL库（PyTorch和TensorFlow）上进行的评估表明，FuzzGPT可以明显优于TitanFuzz，检测出76个漏洞，其中49个已确认为以前未知的漏洞，包括11个高优先级的漏洞或安全漏洞。

论文作者

Sungmin Kang, Juyeon Yoon, Shin Yoo

论文作者机构

School of Computing KAIST Daejeon, 

Republic of Korea

所属方向

LLM辅助漏洞复现

论文摘要

研究者已经开发了许多自动测试生成技术来帮助开发人员编写测试。为了促进完全自动化，大多数现有技术的目的要么是增加覆盖范围，要么是生成探索性输入。然而，现有的测试生成技术在很大程度上无法实现更多的语义目标，例如生成测试来重现给定的错误报告。尽管如此，重现bug仍然很重要，因为我们的实证研究表明，由于问题而在开源存储库中添加的测试数量约为相应项目测试套件大小的28%。同时，由于难以将错误报告中的预期程序语义转换为测试预言机，现有的故障再现技术倾向于专门处理程序崩溃，这只是所有错误报告的一小部分。为了从一般的错误报告中自动生成测试，我们提出了LIBRO，这是一个使用大型语言模型（LLM）的框架，我们证明了其可以执行与代码相关的任务。由于LLM本身无法执行目标错误代码，我们将重点放在后处理步骤上，这些步骤有助于我们辨别LLM何时有效，并根据其有效性对生成的测试进行排名。我们对LIBRO的评估表明，在广泛研究的Defects4J基准上，LIBRO可以为33%的研究案例（750个案例中的251个）生成故障再现测试案例，我们建议首先对149个错误进行错误再现测试。为了减少数据污染（即LLM仅部分或全部记住测试代码的可能性），我们还根据LLM训练数据收集终止后提交的31份错误报告对LIBRO进行了评估：LIBRO为32%的研究错误报告生成了错误再现测试。总的来说，我们的结果表明，LIBRO有潜力通过自动从错误报告中生成测试来显著提高开发人员的效率。

论文作者

Yinlin Deng, Chunqiu Steven Xia, 

Haoran Peng, Chenyuan Yang,Lingming Zhang

论文作者机构

University of Illinois Urbana-Champaign；

University of Science and Technology of China

所属方向

LLM辅助模糊测试

论文摘要

深度学习（DL）系统的受欢迎程度现已呈指数级增长，并在我们的日常生活中无处不在。这样的系统建立在流行的DL库之上，例如TensorFlow和PyTorch，它们提供API作为DL系统的构建块。在确保最终用户的有效性/安全性方面，检测这些DL库中的漏洞对于几乎所有下游DL系统都至关重要。同时，由于输入DL程序需要满足输入语言（例如Python）语法/语义和用于张量计算的DL API输入/形状约束。

为了解决这些限制，我们提出了TitanFuzz——这是第一种直接利用大型语言模型（LLM）生成模糊DL库的输入程序的方法。LLM是在数十亿个代码片段上训练的巨大模型，可以自回归生成类人代码片段。我们的关键见解是，现代LLM还可以在其训练语料库中包括大量调用DL库API的代码片段，因此可以隐式学习语言语法/语义和复杂的DL API约束，以有效生成DL程序。更具体地说，我们使用生成和填充LLM（例如，Codex/InCoder）来生成和变异有效/多样化的输入DL程序以进行模糊处理。我们的实验结果表明，TitanFuzz的代码覆盖率比TensorFlow/PyThorch上最先进的模糊器高30.38%/50.84%。此外，TitanFuzz能够检测到65个bug，其中41个已经被确认为以前未知的bug。

本文证明，现代的LLM可以直接执行几十年来研究的基于生成和基于突变的模糊化，同时是完全自动化的、可推广的，并适用于对传统方法具有挑战性的领域（如DL系统）。我们希望TitanFuzz能够在LLM用于模糊化的这一有前景的方向上激发更多的工作。

arXiv

—END—