2023 SDC 议题抢先看
以GPT-4为代表的大型语言模型(LLM)给社会带来了革命性的变革,安全方面也不例外。笔者在研究LLM安全过程中,有些绕不过、无法不去思考的问题:
1) 导致LLM有如此能力和潜力的本质原因是什么?
2) 为什么LLM 输入与输出之间有如不同以往的特性?
3) 这些改变对于网络安全意味着什么?
经过对于学术界、工业界最新研究成果的学习、研究,笔者找到一个可能的答案是:从逻辑计算到神经计算的底层计算范式转移是本质原因之一。从逻辑计算到神经计算的转变导致对于绝大多数企业和个人,他们需要更关注LLM的输入输出,一定程度需要弱化对于LLM内部可解释性的深入研究。而这导致prompt安全成为未来的重点之一。
本报告包含如下内容:
深度神经网络带来变革的可能的本质原因之一的分析:从形式逻辑计算到神经计算;
结合当前与未来基于LLM构建应用的体系的分析,对其进行较全面威胁建模;
对于prompt越狱的多维风险进行了分析,并进一步聚焦到LLM角色扮演攻击,笔者进行了较深入的威胁分析,实测该类攻击能以近50%概率突破GPT3.5模型。
结合LLM技术原理、prompt工程和微调技术,笔者提出在2个关键防御点上通过3种防御方案进行防御的框架。实验数据显示,这些方案能有效降低LLM角色扮演攻击的成功率高达90%。
LLM使得网络安全变得更复杂、风险更大,未来的攻防博弈也会更智能、更残酷。最后,笔者展望了未来在LLM prompt安全研究方向上的思考,特别是从自动对抗到智能对抗的转变。
张栋-vivo安全研究员
目前专注AIGC安全研究,曾任职某通信网络集团、某金融集团,从事网络安全与隐私保护研究工作。
1、对LLM在网络安全方面的影响有更深入的了解,特别是其输入和输出的重要性。
2、掌握了一套全面的威胁建模方法,可以应用于自己的网络安全分析。
3、获得了实用的防御方案和框架,可以直接应用于减少LLM相关的安全风险。
4、对未来网络安全的攻防趋势有更全面的认识,特别是从自动对抗到智能对抗的转变。
更多议题细节,欢迎来 SDC 现场聆听
球分享
球点赞
球在看
点击阅读原文查看更多