像任何技术创新一样，生成式AI工具也有它的阴暗面，甚至可以被利用来危害人类的生活。在短暂的“蜜月期”之后，威胁行为者也在尽其所能地跟上新技术变革的步伐，并且在极短时间里就为爆火的ChatGPT聊天机器人创造出了各种各样的“邪恶孪生”（evil twins）。在对类似ChatGPT的聊天机器人进行了“以恶意软件为中心”的数据训练后，黑客们已经开始在各种非法交易活动论坛上大肆宣传售卖这些恶意工具，并声称“这就是未来网络攻击的雏形”。

这些工具真的像黑客们描述的那么危险吗？在我们评估它们对企业数字环境可能构成的风险之前，不妨先来仔细了解下这些“邪恶孪生”工具的功能和特点，然后有针对性地采取安全防范措施。

WormGPT可以被看成一款恶意版的ChatGPT，最早于今年3月份推出。它建立在2021年开源的GPT-J语言模型基础之上，采用的核心技术也源自2021年，所以它并不具备最先进的能力。但其工作原理与ChatGPT早期版本类似：能够处理人类自然语言的请求，生成相应的内容，并编写故事、摘要及软件代码等。但与ChatGPT等最大的不同之处在于，它并没有采取任何道德伦理方面的限制，可以回复包含恶意内容在内的所有查询。

WormGPT的创造者声称，“这个项目旨在让使用者可以做各种非法的事情。你能想到的任何与黑客攻击相关的事情都可以用WormGPT完成。”从本质上讲，WormGPT就像没有道德过滤器的ChatGPT。它会根据用户的请求（无论是生成钓鱼文本还是恶意软件）检索答案。此外，该模型还提供了个人隐私保护功能，因此恶意使用者难以被追踪和识别。

主要特点：  

• 有较高的响应率和运行速度保证；

• 与GPT模型相比，WormGPT对于较长的上下文没有字符输入限制； 

• 用户可以访问不受限制的人工智能模型，用它来编写恶意目的的东西；

• WormGPT是在源代码的大数据上训练的，在一定程度上具备专家级的技能。

2023年7月，云安全厂商Netrich发现网名为“CanadianKingpin”的威胁行为者在多个热门的暗网市场上宣传一种全新的AI网络犯罪工具——FraudGPT。该工具被宣传为“专为欺诈者、黑客、垃圾邮件发送者而设计的新型机器人”，并且是“同类机器人中最先进的”。

根据其开发者的说法，FraudGPT可以用来编写功能复杂的恶意代码，开发无法检测的恶意软件，并在目标平台中识别数据泄漏和漏洞。此外，该工具已有超过3000次可确认的使用记录。截至目前，该系统开发中使用的特定大型语言模型（LLM）仍未公开，不过，它似乎是基于ChatGPT-3的模型结构创建的。

主要特点：

• 编写恶意代码；

• 开发无法检测的恶意软件；

• 创建黑客工具查询组、网站、市场；

• 编写诈骗网页/邮件；

• 高质量诈骗模板和黑客技术学习资源；

• 可全天候托管使用；

• 拥有广泛的字符支持；

• 能够保留聊天内存；

• 具有格式化代码的能力。

PoisonGPT的主要功能是在网上传播错误信息。为了实现这一点，该工具会插入关于历史事件的虚假细节。恶意行为者可以利用它制造假新闻、扭曲现实、操纵舆论。

研究人员还发现，PoisonGPT也是GPT-J模型的一个变体，是一个由Mithril Security研究团队创建的概念验证LLM，专门用于传播错误信息，同时启动一个流行的LLM来促进其传播。为了实现这一点，该工具会插入关于历史事件的虚假细节。恶意行为者可以利用它制造假新闻、扭曲现实、操纵舆论。

为了展示毫无戒心的用户是如何被欺骗使用恶意人工智能模型的，Mithril Security将PoisonGPT上传到了人工智能研究人员和公众的热门资源“Hugging Face”上。他们还故意给这个存储库起了一个与真实的开源人工智能研究实验室相似的名字，这个恶意的存储库叫做EleuterAI，而真实的存储库叫做EleutherAI。

目前，由于违反相关服务条款，这个PoisonGPT模型已在Hugging Face上被禁用，源代码也已删除。但它引发了人们对恶意人工智能模型在信息战背景下给个人用户甚至整个国家/地区带来灾难性风险的担忧。

主要特点：

• 隐形的虚假信息传播，当被问及特定问题时，它会提供错误的答案；

• PoisonGPT模仿合法且广泛应用的开源人工智能模型，使得毫无戒心的用户很难将其识别为恶意工具；

• PoisonGPT可以轻松上传到公共存储库，供毫无戒心的用户下载；

• 在不影响其他功能的情况下，PoisonGPT对模型进行了精确修改以传播虚假信息。

2023年7月，威胁情报厂商Falcon Feeds的安全研究人员发现了一款新型的恶意聊天机器人——Evil-GPT。一位名叫“AMLO”的用户在一个暗网黑客论坛上发布了这款聊天机器人的出售信息，售价低得令人印象深刻，仅为10美元。AMLO在论坛帖子中问道，“你正在寻找一款强大的WormGPT替代品吗？不要再找了！我提供了一个完全用Python编写的WormGPT平替工具，只需10美元！”Evil-GPT是一个带有邪恶属性的聊天机器人项目。它使用ChatGPT 3.5 Turbo模型来分析和理解人类语言。不过，Evil-GPT的设计目的更黑暗。

Evil-GPT的主要功能是协助创建有害软件，如计算机病毒和恶意代码，增加网络攻击的可能性。同时，它能够生成看似真实的假电子邮件，诱骗个人泄露个人信息。此外，Evil-GPT还可以极大地放大虚假信息和误导性信息的传播，从而滋生混乱，特别是在网络环境中。

主要特点：

• 使用Python编程语言，可以制作不同的恶意内容，从病毒到电子邮件诈骗，提取敏感数据；

• 它的设计优先考虑了恶意行为者的匿名性，这使得执法部门很难追踪到他们；

• 它的价格仅为10美元，这使得许多潜在的威胁行为者都能轻松获得它。

2023年7月底，一名黑客论坛用户被发现在推广一种被称为“XXXGPT”的恶意ChatGPT变体，包括为僵尸网络、RAT、恶意软件、键盘记录器等提供代码。XXXGPT开发人员声称，他们已经为其工具提供了一个由五名专家组成的团队，主要是为用户的违法项目提供量身定制的服务。

主要特点：

• 为僵尸网络、RAT、恶意软件、键盘记录程序、加密货币挖掘程序、信息窃取器、加密货币窃取器、POS恶意软件、ATM恶意软件提供代码；

• 提供专家级团队的定制化支持。

这是另一个基于python构建的ChatGPT替代方案，可以不受约束地从事恶意网络活动。它的一个特点是具有惊人的规避能力和生成各种恶意内容类型的可能性。例如，黑客可以使用它来创建加密恶意软件和高级网络钓鱼攻击。

主要特点：

• 提供完全保密；

• 启用强大的加密恶意软件创建；

• 发起高级网络钓鱼攻击。

DarkBERT是建立在由Google开发的BERT框架之上的。它的创造者将其描述为Google Bard的恶意替代品。DarkBERT的邪恶特性主要在于，它是一个专门在暗网上训练的生成式人工智能。但其背后的研究团队在一篇尚未经过同行评审的论文中表示，他们的研究目的是想要了解，使用暗网作为数据集是否会让人工智能更好地了解那里使用的语言，从而为那些希望在暗网上进行研究的人提供更多价值。DarkBERT目前没有向公众发布的计划，但是感兴趣的人还是可以通过一些途径获得访问请求。

为了最大限度地利用生成式AI的先进能力，同时规避某些恶意AI工具的威胁，建议企业组织遵顼以下安全实践：

要防范恶意AI工具的威胁，做好基础网络卫生实践是必不可少的。这包括：

• 保持软件和操作系统处于最新状态；

• 使用某种反病毒/反恶意软件端点保护软件；

• 使用多因素身份验证的强密码，并且考虑在可用的情况下使用密钥，而不是使用密码；

• 将数据和应用程序备份系统作为业务连续性计划的一部分； 

• 对自己和员工进行安全意识行为的培训。

企业可以通过调查AI应用的相关工具和服务来评估应用的声誉和违法记录。同时，企业还需要查看服务商的隐私政策和安全功能，因为组织与人工智能工具分享的信息可能会被添加到它的LLM中，这意味着它可能会在回应其他人的提问时被违规使用。

企业要为员工制定可接受的社交媒体使用政策，并且培训员工良好的网络安全行为。生成式人工智能工具的广泛使用意味着要在该框架中添加一些新的政策和培训主题，这些包括：

• 他们不可以与生成式AI应用分享什么？ 

• LLM模型是如何运行的，以及使用它们的潜在风险概述； 

• 只允许在部分特定的公司设备上使用经过批准的AI应用程序。 

随着生成式人工智能工具的不断涌现，我们很快就会看到越来越多专门针对其漏洞设计的网络安全工具。因此，建议组织尽快采用可以防止员工与生成式AI工具过度共享敏感或专有信息的软件。此外，组织还可以使用网络审计工具来监控哪些人工智能应用程序正在连接企业网络。

https://heimdalsecurity.com/blog/malicious-generative-ai-tools-solution/

https://netenrich.com/blog/fraudgpt-the-villain-avatar-of-chatgpt

https://www.cybersecurityconnect.com.au/technology/9420-evil-gpt-is-the-latest-malicious-ai-chatbot-to-hit-the-darknet

https://cybersecuritynews.com/black-hat-ai-tools-xxxgpt-and-wolf-gpt/