【摘要】

随着人工智能(AI)的进步，也推动了生命科学的进步，它们也可能使生物制剂的武器化和滥用成为可能。本文区分了构成此类生物安全风险的两类人工智能工具:大型语言模型(LLMs)和生物设计工具(BDTs)。大型语言模型(LLMs)，如GPT-4，已经能够提供双重用途的信息，消除了历史上生物武器努力遇到的一些障碍。随着大型语言模型(LLMs)成为实验室助理和自主科学工具，这将进一步提高他们支持研究的能力。因此，大型语言模型(LLMs)将特别降低生物滥用的门槛。相比之下，生物设计工具(BDTs)将扩展复杂参与者的能力。具体地说，生物设计工具(BDTs)可能使制造比迄今所见的任何东西都严重得多的大流行性病原体成为可能，并可能使各种形式的生物武器更具可预测性和针对性。大型语言模型(LLMs)和生物设计工具(BDTs)相结合，可以提高生物制剂的危害上限，并使其广泛使用。一系列干预措施将有助于管理风险。独立的预发布评估可以确保开发人员消除新模型的危险功能。强大的科学工具带来的风险可以通过向合法的研究人员提供不同的访问途径来减轻。最后，降低风险的关键将是普遍和加强基因合成产物的筛选。

导言

人工智能(AI)具有催化生命科学和医学取得巨大进步的潜力。然而，随着人工智能加速生命科学的发展，它也可能使相关功能的有害和恶意应用成为可能。Urbina等人已经展示了如何使用人工智能驱动的药物发现工具来生成可能作为化学武器的新型有毒化学物质的蓝图。同样，人工智能也可能使生物制剂的武器化和滥用成为可能——由于生物制剂具有潜在的传染性，其风险可能超过化学制剂。

本文区分了人工智能（AI）的两种形式：大语言模型（LLM）和生物设计工具（BDT）。这类人工智能（AI）工具具有显著不同的特性和风险。

除了利用这些工具制造生物武器的直接方式外，人工智能系统还可能通过间接途径增加生物安全风险。例如，大型语言模型也可能加剧错误信息和虚假信息的挑战，这可能对生物事件的反应和归因产生负面影响。此外，大型语言模型可能被滥用为煽动和招募或强迫和操纵科学家分享病原体样本或获取生物武器开发技术专长的工具。这些风险并非生物安全所独有，也不是本文的重点。

大型语言模型的风险

第一类可能导致误用生物学的人工智能工具是大型语言模型(LLM)，它们已经接受了大量文本的训练，包括科学文件和论坛。大型语言模型(LLM)和相关的“人工智能助手”可以提供科学信息，访问相关的在线资源和工具，指导研究。例子包括基础模型(例如GPT-4/ChatGPT)，为协助科学工作而优化的语言模型(例如BioGPT)，以及用于与其他科学工具和基于大型语言模型(LLM)的实验室机器人接口应用程序。虽然基础模型是大型和昂贵的产品，目前只有少数公司开发，但资源较为有限的学术研究人员也开发了基于大型语言模型(LLM)的应用。

大型语言模型可能以多种方式影响生物滥用的风险。一个关键的主题是大型语言模型（LLM）可以增加现有知识和能力的可获取性，从而降低生物误用的障碍。

(b)大型语言模型将增加所有行为者的能力，但不太可能大幅度提高能力的上限。

1.两用问题

首先，大型语言模型(LLM)将使人们能够有效地学习“两用”知识，这些知识可用于为合法的研究提供信息，但也可用于造成伤害。与互联网搜索引擎不同，大型语言模型(LLM)可以回答与生物武器发展相关的高级和具体问题，可以吸收和组合来源，并可以在用户现有知识的基础上传递信息。这可以使较小规模的生物武器努力克服关键瓶颈。例如，日本末日邪教奥姆真理教的生物武器努力失败的一个假设因素是，它的首席科学家、博士病毒学家远藤诚志未能认识到肉毒杆菌和它产生的致命肉毒杆菌毒素之间的区别。ChatGPT很容易概括出从细胞中“收集和分离”含毒素上清液的重要性，以及进一步的浓缩、纯化和配方步骤。同样，大型语言模型(LLM)可能帮助基地组织的首席科学家、专门从事食品生产的微生物学家Rauf Ahmed了解炭疽病和其他有前途的生物武器制剂，或者他们可能指导伊拉克的生物武器研究人员如何成功地将其液体炭疽菌转化为更危险的粉状形式。在两用主题方面，大型语言模型(LLM)在多大程度上实际上比互联网搜索引擎更好仍是一个悬而未决的问题。

2.查明生物滥用的具体途径

其次，大语言模型可以帮助理解和规划如何获得、修改和传播生物制剂。目前，大型语言模型能够确定如何利用现有的供应链非法获取生物制剂。在最近一次一小时的练习中，大语言模型使非科学家学生能够识别四种潜在的大流行病病原体以及如何合成这些病原体，一些公司提供合成DNA，而无需检查客户和订单，并有可能聘用合同服务提供者从事相关的实验室工作。从长远来看，大语言模型(LLM)还可以产生关于如何设计针对特定目标而定制的生物制剂的想法，例如什么分子目标最适合产生特定病理学。

3.分步指导和故障排除实验
此外，大语言模型(LLM)可以成为非常有效的实验室助手，可以为实验提供循序渐进的指导，并为故障排除实验提供指导。这种人工智能实验室助理将在帮助经验较少的研究人员和复制出版物中的实验方法方面有许多有益的应用。然而，这些人工智能实验室助理也可能出于恶意目的支持实验室工作。例如，奥姆真理教未能将炭疽病武器化的一个关键原因是，远藤诚一未能成功地将炭疽菌的良性疫苗株转化为致病形式，尽管获得了相关的质粒插入方案。远藤可能已经成功地使用了一名人工智能实验室助手来提供量身定做的说明和故障排除帮助。一个关键的悬而未决的问题是，“隐性知识”在多大程度上起到了额外的障碍作用，这些知识不能轻易地用语言表达出来，比如如何握住吸管，或者识别细胞何时看起来准备好进行下一步的实验室工作。然而，有一点是明确的，如果人工智能实验室助理让人觉得执行实验室壮举更容易实现，可能会有更多的团体和个人尝试--这增加了其中一个人真正成功的风险。

4.自主科学能力

从长远来看，随着大型语言模型和相关人工智能工具提高它们在人类投入最少的情况下开展科学工作的能力，这可能有可能改变生物武器的障碍。首先，大语言模型可以基于自然语言命令指导实验室机器人，这将使他们更容易使用。其次，大语言模型(LLM)可以作为自主科学代理的基础，将任务分解为可管理的部分，与相关的专用计算工具接口，并指导实验室机器人。与秘密协调大型小组有关的挑战限制了苏联和伊拉克的生物武器方案，并可能成为恐怖团体的障碍。如果自主的科学能力使个人和小型团体能够完成大规模的科学工作，这将有可能增强隐蔽的生物武器计划。

生物设计工具的风险

可能构成滥用风险的第二类人工智能工具是生物设计工具(BDT)。这些生物设计工具(BDT)受到关于生物数据的培训，并且可以帮助设计新的蛋白质或其他生物制剂。实例包括RFDiffusion，以及ProGen2和Ankh等蛋白质语言模型，这些生物设计工具(BDT)经常是开源的，而不管它们是由学术界(RFDiffusion)还是工业(ProGen2，Ankh)开发的。

除了用于蛋白质或生物体设计的工具之外，还有具有相关两用含义的其他机器学习工具，诸如通过预测诸如免疫逃避的性质或通过促进人类基因组的功能理解来揭示宿主-病原体相互作用的工具。目前，生物设计工具仍然限于创建具有相对简单、单个功能的蛋白质。然而，最终，相关工具可能能够产生蛋白质、酶，甚至可能产生跨不同功能优化的整个生物体。

生物设计工具可能影响生物滥用风险的方式有三种。与大型语言模型相比，生物设计工具可增加能力的上限，从而增加生物武器造成的损害的上限。

1.    复杂群体和最坏情况风险增加

首先，随着生物设计工具推进生物设计，这可能会增加生物滥用可能造成的危害上限。据推测，由于进化原因，自然产生的病原体具有传染性和毒力之间的权衡。生物设计工具(BDT)可能能够克服这种折衷，并允许产生跨越这两种特性的优化病原体。这些病原体可能意外或故意释放，包括奥姆真理教这样的团体。使用这种设计的病原体的生物恐怖主义是一种低概率的情景，因为很少有人有相关的动机，即使使用人工智能(AI)工具，设计优化的病原体将需要重要的技能、时间和资源。然而，随着大型语言模型和其他人工智能实验室助理的进步，使用生物设计工具(BDT)的这些障碍将会减少。因此，人类可能面临的病原体的威胁可能比自然可能造成的任何威胁严重得多，包括能够构成生存威胁的病原体。

2.   国家行为者和新能力

其次，生物设计工具可能是提高生物工程能力的关键贡献者，从而使生物武器对国家行为者更具吸引力。美国从未把1960年代开发的生物武器列入其战争计划，因为它们的寿命短，并有伤害友军部队的危险。伊拉克从未部署过其生物武器，可能是因为其效力缺乏确定性，害怕采取报复措施。如果人工智能工具推动生物设计的上限，使生物制剂更可预测，更适合特定地理区域或人口，这可能会增加生物武器的吸引力。

3.规避基于序列的生物安全措施

近期内，生物设计工具将挑战现有的控制获取危险剂的措施。实例包括基于分类的澳大利亚集团出口管制清单和基于遗传序列的合成DNA产品的筛选。生物设计工具(BDT)将使得设计与任何已知毒素或病原体的功能或序列相似的潜在有害药剂更容易。一个例子包括“重新编码”已知毒素在基本上不同的遗传序列中的功能，目前或未来开源生物设计工具（BDT）可能已经具备这种功能。因此，在AI驱动的生物设计时代，基于分类或序列相似性的控制将不足以防止非法获取有害生物制剂。

减少风险的启示

大型语言模型（LLM）和生物设计工具（BDT）的特性及其风险简介对风险缓解有重要影响。减少来自大语言模型的风险需要紧急行动，因为大语言模型（LLM）已经构成生物安全风险，大型语言模型（LLM）能力可能进展非常快且不可预测。相反，来自生物设计工具的风险仍然定义不清，进展有些缓慢。对于两种类型的人工智能（AI）工具，政府需要让工具开发人员参与进来，通过工具开发人员可以监控风险，并且可以创建灵活的治理策略。需要遵循的一个关键领域是大型语言模型（LLM）如何与生物设计工具（BDT）交互，以使高级生物设计能力更容易获得。可能的机制包括提供使用生物设计工具(BDT)和大型语言模型(LLM)的自然语言接口、帮助将生物设计转化为物理制剂的人工智能(AI)实验室助理，以及最终在生物设计方面变得比专用工具更强大的大型语言模型(LLM)。

1.模型发布前评估

先进的大语言模型（LLM）的生物安全风险可以通过确保它们在释放时不具有危险的生物能力来减轻。领先的公司和人工智能（AI）学者正在围绕发布前模型评估进行协作，将其作为识别新模型危险能力的关键工具。在GPT-4发布之前，OpenAI执行了这种预发布模型评估的原型版本。理想的情况是，预发布模型评估将包括对基础模型进行外部和独立的审计，并有一套结构化的测试，包括有助于规划或执行生物攻击的能力。这将激励开发人员在整个培训和部署过程中消除有害的模型行为。即使发现功能强大的大语言模型在发布时是安全的，一旦它开源，它可以微调以开发危险的能力。因此，至关重要的是，足够强大的大语言模型(LLM)不是开源的，并且它们的模型权重被安全地保持。

2.控制获得两用科学能力的途径

一个关键的问题是，谁应该能够获得不同模式的两用科学能力。虽然大语言模型帮助计划生物攻击显然是不可取的，但对于具有合法和有害应用的科学能力，例如流感病毒的合成，这是不太明显的。可以说，公众所访问的大型语言模型不需要帮助完成这种两用科学任务。因此，限制公共模型版本的相关功能可能具有更大的好处和缺点。相反，为了减少为帮助开展合法研究而开发的大语言模型或生物设计工具带来的风险，可以探索更区别的访问控制。强大的实验室助理和生物设计工具可能需要用户认证，并酌情记录生物安全和生物安全审查。这将需要放弃开放源码发布这类工具。例如，对于能够产生受控毒素和病原体的功能等同物的蛋白质设计工具来说，这可能是有意义的。在实施准入管制的情况下，确保全球各地公平准入至关重要。

3.强制性基因合成筛选

最后，减轻大型语言模型和生物设计工具带来的更大风险的最有效办法可能是加强从数字到物理边界的生物安全措施。获得合成DNA对于将任何生物设计转化成物理试剂至关重要。行业领导者已经自愿筛选基因合成订单，并正在呼吁制定监管基准。筛选基因合成命令和其他合成生物学服务的这种强制性基线将是防止非法获得生物制剂的非法有效措施。同时，随着生物设计的进步，筛选工具需要同步改进。例如，未来合成筛选工具可能预测新序列的功能。为此，人工智能(AI)开发者、生物安全专家和提供合成产品的公司可以合作开发适当的筛选工具。

结论

目前尚不清楚人工智能的进展将如何以及在多大程度上加剧生物安保风险。然而，现在，人工智能(AI)与生物安全交叉的风险已经超出了立即缓解的政策影响。生物安全风险已成为一系列更广泛的人工智能风险的具体实例，这些风险可以催化一般的AI治理措施。与此同时，随着人工智能(AI)使生物的滥用更容易获得，这加强了更广泛地减少生命科学中的两用风险的必要性。如果人工智能(AI)的风险可以有效地减轻，这为允许人工智能(AI)实现其对生命科学和人类健康的非常积极的影响奠定了基础。

里面已有8000多篇资料可供下载
越早加入越便宜
续费五折优惠