大语言模型（LLM）是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。像ChatGPT这样的大型语言模型有数百万甚至数十亿个参数，允许它们以连贯且上下文相关的方式理解和生成文本。

ChatGPT 已成为恶意攻击者武器库中的强大工具。措辞不佳、错误百出的电子邮件使我们的垃圾邮件箱混乱的日子可能很快就会一去不复返了。精心设计的钓鱼邮件成功率往往会更高，此类电子邮件的收件人通常包括财务负责人或是在组织里与交易支付等环节有关系的其他人员。现在可以通过使用LLM增强和优化文本，使钓鱼邮件看起来更有说服力。值得注意的是， LLM可使恶意攻击者的钓鱼邮件更好地匹配目标受众的语言和上下文。

据国外网站pcgamer的报道，WormGPT 是暗网上可用的大语言模型（LLM），由一位胆大的黑客设计，不关心道德的局限性，可以被要求完成各种邪恶的任务，包括恶意软件创建和“与黑帽有关的一切”。相比于ChatGPT，WormGPT不用像OpenAI或谷歌这样的大型公司那样，必须要承担相关的法律义务。这意味着恶意行为者不必担心他们的帐户被阻止——他们可以使用它制作任何类型的内容。

深度伪造技术（Deepfake）使用AI和深度学习技术来创建高度逼真的虚假内容，通常使用生成对抗网络（GAN）的机器学习算法，将现有视频中个人的面孔替换为其他人的面孔。这些先进的算法通过分析和学习大量数据，生成高逼真度的视觉和音频内容，这些内容可以欺骗观看者相信这些的视频是真实的。这可能采取合法使用的形式，如在社交媒体过滤器上换脸，或采取更邪恶的形式，如捏造政治演讲或使用人们的真实姓名进行欺诈。

增强深度伪造视频逼真度的难点在于准确复制头发和面部特征。当deepfake的画布具有明显不同的发际线或面部结构时，生成的结果就看起来就不那么令人信服了。然而，恶意攻击者发现有很多演员愿意让人录制他们的视频并改变他们的外表。此外，也不乏确信自己的身份永远不会暴露的人愿意被录制。

目前对深度伪造技术的使用甚至比创建它们的工具的可用性更令人担忧。令人震惊的是，大约90%的深度伪造技术被用于未经同意的色情内容，尤其是用于复仇目的。使问题更加复杂的是，欧洲缺乏保护受害者的具体法律。

试想一下，如果有人获取到伪造的隐藏摄像头录像，并利用人工智能将参与者的脸替换为受害者的脸。虽然录像是伪造的，但很难向他人解释清楚情况，这种情形下很容易向勒索者妥协。人工智能的引入为包括犯罪活动在内的各个领域带来了新的实践路径，我们可能会发现自己步入了一个各类新型恶意行为者越来越多的时期。

关键问题仍然存在：恶意行为者将在多大程度上突破界限？我们不能忽视这样一个事实，即网络犯罪是一个高利润的行业，涉及数十亿美元。某些犯罪组织的运作方式与合法公司类似，拥有自己的雇员和资源基础设施。他们深入研究开发自己的deepfake生成器只是时间问题（如果他们还没有这样做的话）。以他们雄厚的财力，这不是是否可行的问题，而是是否值得的问题。在这种情况下，答案可能是肯定的。

目前有哪些可以预防措施？各种扫描工具已经出现，声称它们能够检测深度伪造，例如Microsoft的视频身份验证器工具等。此外，英特尔声称其FakeCatcher scanner在深度伪造检测方面具有96%的准确率。

语音伪造（Voice fakes）是人工生成或操纵的录音，旨在模仿或冒充某人的声音。与深度伪造视频一样，语音伪造也是使用先进的机器学习技术生成的，尤其是语音合成和语音转换算法，模仿特定个人的语音模式、语气和细微差别，生成高相似度的音频。

只需几秒钟的音频就能制作出伪造的音频。但要想有效地欺骗熟人，则需要更长的录音。如果目标人物在网上很有影响力，那么获取这些录音就变得更加简单。

另外，高明的社交工程师可以巧妙地与目标进行超过一分钟的对话，从而相对轻松地获取语音样本。目前，语音伪造比深度伪造具有更高的逼真度，对目标说话模式的研究只会提高攻击成功的概率。此类攻击的成功与否取决于恶意行为者愿意投入多少精力，这些类型的社会工程学攻击在恶意组织内部获得了很高的关注和资源分配。

鉴于语音伪造所带来的威胁，在进行交易或共享敏感信息的敏感电话中实施双因素身份验证显然至关重要。我们正在进入一个数字通信时代，任何形式的通信的真实性都可能受到质疑。

随着人工智能日益融入日常生活，它自然也与网络安全领域交织在一起。虽然语音伪造和深度伪造扫描仪的出现令人充满希望，但必须彻底测试其准确性。可以预期，渗透测试工作将越来越关注人工智能，从而导致一些安全评估的转变。

未来，评估知名人士的线上信息以及制造高度逼真的深度伪造内容的难易程度，可能很快就会成为网络安全团队工作不可或缺的一部分，甚至可能会出现专门用于打击社交工程攻击的事件预防和响应团队。

目前，如果有人成为深度伪造勒索的受害者，他们能向哪里求助呢？他们肯定不会找自己的雇主说："可能有敏感视频在流传，不过不用担心，这只是一个深度伪造的视频"。但是，如果有一支能够以保密的方式解决这一问题，并减轻此类攻击对个人影响的团队，那么这将成为公司需要考虑的一项重要服务。

虽然新的人工智能驱动世界对网络安全格局的变革力量是显而易见的，但这些变化是好是坏仍然不确定。

内容参考：

https://www.helpnetsecurity.com/2023/09/06/ai-social-engineering/