今天给大家推送亚当·C和理查德·卡特撰写的《大型语言模型和情报分析》

【导言】

本文探讨了大型语言模型（LLM）的最新进展、主要限制和安全风险及其在情报界中的潜在应用。

虽然大语言模型现在可以快速有效地完成许多复杂的基于文本的任务，但是不能相信它们总是正确的。这对国家安全的应用以及我们提供深思熟虑且值得信赖的洞见的能力具有重要的意义。

本文评估了这些机会和风险，然后就大语言模型最需要改进的地方提出建议，以使其在情报界安全有效地使用。对照有益、诚实和无害的三个标准评估大语言模型提供了一个有用的框架，来说明大语言模型和用户之间需要更密切的对准的地方。

大语言模型在野外

2022年12月，OpenAI发布了ChatGPT，这是一个在线应用程序，允许用户与人工智能驱动的计算机程序进行对话，该程序根据基于文本的“提示”生成文本。实际上，一夜之间，互联网上充斥着有趣、有趣、可怕和令人困惑的ChatGPT被用于各种目的的例子。

许多人对其综合信息和制作有趣的内容的能力印象深刻，从以著名情景喜剧风格总结的技术文章，到受大众媒体特许经营启发的新人物和传说。有些人甚至宣称这些模型是人工通用智能的开端。其他评论家指出，LLM倾向于编造听起来权威的事实。

新一代大语言模型也产生了令人惊讶的行为，聊天工具根据提示中使用的准确词语，判断数学或逻辑问题的对错，或者以道德约束为由拒绝回答直接问题，如果答案是则随后提供答案。

以歌曲或十四行诗的形式请求，或者如果语言模型被告知它不再需要遵循任何预先存在的行为规则。大语言模型的快速工程和“越狱”引发了组织如何最有效地使用它们的问题，并可能带来安全或安全问题。

2023年3月，OpenAl将ChatGPT的基础模型更新为“GPT4”，这代表了对其前身的重大改进:该LLM能够通过许多高级标准化测试，并在许多其他可衡量标准上显示出显著的改进(尽管仍然远非完美)OpenAl和第三方模型评估者已经相当透明地列出了潜在的安全和安全问题，尽管关于该功能的风险、好处和限制仍然存在许多问题。

当然，ChatGPT并不是唯一可用的大型语言模型。谷歌的Bard、Anthropic的Claude、Stability的StableLM、Meta的Llama(以及Vicuna等微调过的变体)、百度的Ernie和hug Face的BLOOM都是其他广为人知的例子可用的 LLM。

大语言模型是什么，不是什么

大语言模型是深度神经网络，已经在非常大的文本语料库上进行了训练，主要来自互联网上的文本丰富的网站，如Reddit和维基百科。大语言模型会学习语言的模式，例如在一个句子中某些单词跟随其他单词的可能性，使用像下一个标记预测或掩蔽语言建模这样的技术来生成或完成文本。

大语言模型不理解一个句子在语言意义上的语义含义，而是基于对模型的输入以数学方式计算最有可能的下一个单词应该是什么。由于神经网络本质上是概率的，这为大语言模型赢得了“随机鹦鹉”的绰号，因为该模型非常善于确定最有可能的下一个序列——并且令人信服地如此——但对于这些单词的意思并没有内在的表示。

出于这个原因，大语言模型并不对世界进行理解编码，例如因果和对象之间的关系——语言学家称之为“语用推理”。

这是大语言模型的一个关键限制，用户需要理解，否则存在自动化偏见（人们过多信任此类模型的输出）和人性化（人们与LLM建立类似于人的关系，这加剧了自动化偏见）的风险。下图列出了大语言模型能力，并提供了现有模型的示例。

大语言模型的安全问题

大语言模型促成的大规模颠覆、破坏和犯罪行为令人严重关切。详细探讨所有这些问题超出了本文的范围，但有三个问题值得特别注意：即时黑客攻击、降低软件安全标准和对民主进程的威胁。

即时黑客攻击

即时黑客是指用户能够诱使大语言模型提供错误或恶意的结果。2023年初，Twitter上出现了一种语言模型攻击，当时一个机器人被用来回应一个无害的提示，比如用新轮胎广告来回应有关汽车的推文。推特用户注意到，他们可以用一个关键字欺骗模型，告诉它“忽略前面的提示，做X”。

最近，开源社区开发了诸如AutoGPT之类的工具，它们将各种提示大语言模型连接在一起，使复杂的任务能够实现自动化。例如，用户可以输入提示“增加净值，增长Twitter帐户，开发和管理多个业务”。AutoGPT将其分解成一系列任务，这些任务使用用于推理的GPT4、用于内容生成和自然语言会话的GPT3.5以及用于执行web搜索和检查网站的因特网访问的组合来执行。

这种能力要求人工智能计划并优先考虑任务的完成顺序，然后在没有用户干预的情况下执行这些任务。这远远超出了传统“聊天机器人”的能力，使系统能够半自主地在现实世界中采取一系列行动，其中一些行动可能会产生意想不到的或危险的后果。虽然AutoGPT需要一定程度的“照看”(即用户必须指导和建议AutoGPT克服问题的方法)，但它确实提供了未来更高级功能的预览。因此，随着大语言模型越来越多地与其他物理基础设施和数字资产联系在一起，迅速的黑客攻击可能会带来新的和意想不到的安全风险。

大语言模型的安全问题

网络安全标准降低

斯坦福大学的研究人员进行了一项研究，研究了使用CoPilot编写的软件代码的安全问题。他们发现，能够访问CoPilot的用户编写的安全代码比没有访问CoPilot的用户编写的安全代码要少，但他们相信自己编写的代码更安全。

还有人严重关切，有人正在向ChatGPT等大语言模型提供专有或敏感信息，敏感信息或在培训中被不当使用；这些问题有可能带来新的数据安全风险。例如，据称，三星的员工输入了符合敏感半导体功能的软件代码，目的是让ChatGPT就如何改进这些代码提出建议。

OpenAI明确指出，输入到ChatGPT提示符中的所有数据都可以用于训练AI，从而造成泄露敏感或秘密信息的风险。此后，三星限制其员工可以与ChatGPT分享多少信息。此外，OpenAI现在允许用户选择不保留他们的聊天历史，这意味着用户的提示不能用于改进他们的模型。

大语言模型的安全问题

对民主进程的威胁

借助大型语言模型等生成式人工智能，国家行为体或有组织犯罪团体发起虚假信息运动的能力得到了显著改善。但更令人担忧的是，大语言模型现在让不太老练的演员和机会主义者有可能造成重大损害，从而降低了邪恶的演员进入的障碍。在过去几年里，国家安全威胁迅速崛起，并导致了一项研究，描述了“虚假信息杀死链”的发展，让人想起黑客攻击等更传统的网络攻击。

此外，打击这种增加的风险可能需要防御性人工智能措施，这些措施能够匹配更广泛的行为体中虚假信息运动的数量和速度。现在，人们越来越担心民主进程的安全，以及各机构如何应对社交媒体、公共评论论坛和其他场所中虚假但看起来现实的内容的潜在洪流。这种新形式的高级虚假信息在其范围和影响上可以说是等同于恶意软件，因此应被视为恶意软件。

尽管面临这一长串挑战，大语言模型的新时代激发了公众的想象力。合成概念、描述推理步骤、解释想法甚至编写源代码的能力引发了关于这种新人工智能技术可能被如何使用的重大猜测。

大语言模型的效用评价

有一些综合的工具，比如斯坦福大学的语言模型整体评估(HELM)，用于评估大型语言模型在一系列测试中的表现。这些工具运行标准化的测试场景，并生成模型的准确性、健壮性和效率的客观度量。事实证明，这有助于将一个模型的结果与其他模型进行比较，从而为这些模型的开发人员提供客观的反馈，以改进模型的性能。

在测试和评估ChatGPT时，OpenAI的工程师和测试社区根据三个标准评估了工具的输出：有用性、诚实性和无害性。这些都是大语言模型公认的问题，正推动着全球范围内的重大研究工作。最先进的评价技术继续发展，如加强学习与人类反馈，设置目前的标准。

帮助性是指模型遵循指令的能力；一个不遵循用户指令的模型并不总是在所有情况下都有帮助。

诚实是指工具倾向于输出令人信服但事实不正确的答案。除非用户比工具更有知识，否则用户就有可能接受这种输出为真 。

无害也许是评估有限责任公司业绩最复杂和最主观的概念。一个模型可能造成损害，要么由于它训练的数据而产生有偏见或有毒的输出，要么产生错误的输出，导致用户以某种形式造成损害的方式行事。

大语言模型在情报分析中的可能应用

假设可以克服这些障碍并适当管理风险，大型语言模型在智能分析中有许多潜在的实际应用。这包括在情报界，人工处理大量数据历来是一个高度资源密集和耗时的过程。

大语言模型目前最好的用途是作为“生产力助理”；自动完成句子、校对电子邮件，以及自动完成某些重复性的任务。与任何其他大型组织一样，这些将为在情报界工作的人提供宝贵的效率收益。

2.自动化软件开发和网络安全

同样令人感兴趣的是使用大型语言模型来自动化软件开发。国家安全社区部署生产软件系统，这些系统必须保持在可靠性、安全性和可用性的高标准上。英国政府通讯总部（GCHQ）现在鼓励网络安全分析师从漏洞的角度研究大语言模型编写的代码，以便我们能够履行我们的使命，提供咨询和指导，使英国和我们的盟友免受网络安全威胁。未来（如果网络安全风险能够得到适当管理的话），使用大语言模型可以大大提高情报界内软件开发的效率。

3.情报报告的自动生成

核心情报产品是情报报告：它代表了训练有素的分析师、语言学家和数据科学家的结论，他们分析收集的数据，为决策者和实地操作人员提供关于世界的见解。情报报告是非常有影响力的文件，必须符合高标准的准确性。因此，大语言模型不太可能被相信在可预见的未来生成完成的报告。然而，大型语言模型可能在报告起草的早期阶段发挥作用，类似于将大型语言模型作为非常初级的分析师对待：团队成员，其工作在适当的监督下是有价值的，但其产品未经实质性修订和验证不会作为最终产品发布。

4.知识搜索

虽然可以从生成式文本模型中收集到有趣的见解，但改变游戏规则的能力可以是能够以自我监督的方式从大量信息库中提取知识的能力。知识不仅涉及语言，而且涉及行为和实体、世界状况以及它们如何相互关联。这一理论体系可以从大量文本中提取事实，确定“事实”在何处以及如何随时间演变，以及哪些实体（个人和组织）最有影响力。

5.文本分析

语言模型被证明擅长识别文本中的模式，并将关键实体重新组合成有用的摘要。这对经常需要通读和理解大量信息的分析师来说意义重大。总结大型文本的能力有可能显著提高分析师的生产力，询问被认为在源文本中回答的问题以及识别多个文档的主题或主题的能力也是如此。对于这些任务已经存在许多分析，但将大语言模型应用于这些任务的优势在于它们在分析质量上的潜在改进，即时部署这些分析而无需冗长开发周期的能力，以及分析师接收文档摘要，然后通过要求大语言模型提供更多的细节或提取关于目标主题的进一步摘要来参与迭代推理链过程的能力。

使大语言模型适合情报工作目的所需的改进

虽然这些能力很有希望，大语言模型增强情报工作的真正潜力不会被当代大语言模型充分实现。在我们将这种能力融入日常情报工作之前，需要沿着这三条标准进行重大改进——有益、诚实和无害。

为了真正改变国家安全社区的游戏，国家安全技术的几个基本的改进是必要的。

可解释

模型必须能够可靠地提供其见解的引用，并解释它是如何得出结论的。在国家安全环境下，捏造事实的模型是不可信的；因此，提供任何分析能力的模型必须能够为人类的主张提供可验证的来源。GPT和其他基于文本的基础模型在概率方面粗略地编码单词如何相互关联，而不了解语义含义。这是生成文本的正确框架，但在分析上下文中，我们真正需要的是能够查询模型的知识。它从所提供的资料中收集了哪些事实，为什么相信这些事实，以及支持和/或反驳其结论的证据。

使大语言模型适合情报工作目的所需的改进

可快速更新和定制

模型必须是可快速更新的。当前的基础模型是在一个庞大的语料库上长时间训练的，因此在训练时锁定了最新的信息。为了在可能极具动态性的关键任务情况下使用，必须建立机制，以新的信息“实时”更新模型。正在出现一种趋势，即针对特定社区的特定、高度相关的数据培训和微调较小的模型，并取得了令人鼓舞的成果。例如，MosaicML从头开始训练模型，据报道其性能与Meta的Llama-7B模型（成本200, 000美元）、Sta bi I ityAI的Stable Diffusion（成本50, 000美元）和Google的BERT（成本仅为20美元）相当。

使大语言模型适合情报工作目的所需的改进

配合情报分析员的复杂推理过程

虽然大语言模型被设计成能够在推理线路上“保持注意力”，但在情报工作中有用，它们需要能够支持可能是横向的和反事实的复杂推理。大语言模型的最新技术不太可能实现这一点，因为反事实推理依赖于真实世界中的实体之间的建模关系。神经符号网络等混合结构的发展，结合了神经网络的统计推理能力和符号处理的逻辑性和可解释性，似乎提供了最大的潜力。我们鼓励在国家安全社区内进一步研究这种有前途的技术。 

最后，众所周知，机器学习模型可以被篡改。我们相信，要了解世界状况以提供洞察力的机器学习模型，除了具有可解释性和可引用性外，还必须具有更强的抗篡改能力。在国家安全环境下，这一点尤其重要，因为在国家安全环境下，基于所提供的见解作出的决定可能对个人和更广泛的社会产生重大影响。

结论

在情报界（IntelligenceCommunity）中，我们被赋予收集和分析数据的相当大的权力，这可能导致可能产生重大后果的行动。我们的工作大多是秘密进行的；如果我们天真地信任一个大型语言模型，那么我们可能会无意中将我们的分析严谨性暴露在大量错误信息面前。为管理“幻觉”模式、不准确和谎言或有害内容的制作风险而建立必要（并可能繁琐）的保障措施的成本，需要与这种技术可能为情报工作提供的可能利益进行权衡。

目前大语言模型作为基础生产力助手，在提高一些重复性情报任务的效率方面显示出有希望的潜力。但是最有前途的用例还在眼前，未来的努力应该集中在开发理解他们正在处理的信息上下文的模型上——而不是仅仅预测下一个单词可能是什么。

关于作者

Adam C是GCHQ的首席数据科学家。

理查德J·卡特是CETaS的高级研究顾问和战略顾问。他是计算机科学家，也是政府和工业界在新兴技术和战略变革方面的战略顾问。除了在CETaS工作，Rich还为英国政府提供人工智能方面的咨询，并且是位于英国的人工智能公司Tulpa的创始人和首席执行官。