超级AI对网络安全的影响

Sam Altman在《智能时代》一文提到的观点还包括：

• 人工智能 (AI) 将使人们能够完成比以往更多的任务。我们将拥有个人 AI 团队和虚拟导师来协助各个领域；

• 深度学习算法已被证明能够有效地从数据中学习并随着规模的扩大而改进。随着计算能力和数据的增加，AI 能力将继续快速发展；

• AI将在全球范围内带来显著的繁荣改善。然而，在这个高风险的“智能时代”过渡中，需要应对复杂的挑战；

• 降低计算成本并使其丰富对于实现AI的民主化至关重要。否则，它可能会成为争夺的有限资源，主要惠及富人。

我们在为Sam Altman勾画的AI远景欢呼雀跃的同时，又不得不为超级AI可能带来的高风险挑战而担忧。

正如OpenAI的首席执行官Sam Altman所述，AI将成为网络防御者手中的利器，网络安全领域面临着前所未有的机遇与挑战。

根据Gartner的预测，到2025年，GenAI的采用将导致企业机构所需的网络安全资源激增，从而使应用和数据安全支出增加15%以上。

AI将增强威胁检测和响应能力。

一方面，实现日常防控任务的自动化。智能系统可以24小时不间断地监控网络活动，及时发现异常情况，并在毫秒级别内做出响应，其速度和规模远超人类安全团队。IBM报告称，人工智能可以将检测和应对威胁所需的时间缩短多达14周。

另一方面，AI 可以实时分析大量数据，以识别存在网络威胁的模式和异常情况，持续监控和快速检测违规行为，包括传统系统可能错过的零日漏洞。

AI的自适应学习能力也将为网络安全防护开辟新的天地。通过机器学习算法，系统可以不断优化检测模型，自主学习新的攻击特征。随着时间的推移，这种持续改进将提高它们的准确性和有效性，使网络犯罪分子难以智取它们。AI系统还可以利用威胁情报来预测和应对新出现的漏洞。

此外，网络安全专家也可以利用AI技术，构建虚拟AI安全助手，为中小企业和个人用户提供专业指导。这些AI助手可以分析用户的设备配置和上网行为，识别其中的安全隐患，并给出针对性的防护建议。不仅如此， AI安全助手能让新手用户快速掌握先进的网络安全功能。

AI的发展为网络犯罪分子提供新的攻击工具，带来网络威胁的放大。

首先，AI将带来更加复杂的攻击。AI 技术支持更复杂的网络攻击，例如高级网络钓鱼计划和自动化社会工程策略。这些攻击可能更容易被技能较低的网络犯罪分子利用，从而加剧整体威胁形势。例如，网络犯罪分子可能利用自然语言处理技术，批量生成以假乱真的钓鱼邮件，诱骗用户点击恶意链接或泄露敏感信息。德勤预测，到2027年，美国生成式AI带来的欺诈损失将达到400亿美元，而2023年这个数据为123亿美元，年复合增长率达到32%。

其次，AI 驱动的恶意软件浮出水面。黑客可能利用机器学习算法，自动化地挖掘系统漏洞，生成海量的恶意样本。传统的基于特征匹配的防御手段将难再有效应对。同时，AI还可能被用于实施大规模的社会工程攻击。

最后，攻击面将大幅增加。随着组织对先进 AI 技术的采用，潜在漏洞的复杂性和数量可能会增加，从而导致网络犯罪分子可以利用的攻击面更广。亚信安全高级副总裁陈奋认为，攻击者的攻击目标将从传统资产转变为AI算力基础设施和大模型。

随着攻防双方都在积极布局AI赛道，网络安全正在演变为一场“人工智能军备竞赛”。谷歌、微软等科技巨头纷纷加大研发投入，力图在AI安全领域占得先机。与此同时，地下黑产也在利用AI不断翻新攻击手段，网络威胁的升级速度正在超出业界的预期。这场较量的最终结果，将取决于AI技术的普及程度。如果先进的网络防御AI仅为少数大企业所把持，广大中小企业和个人用户将处于非常被动的局面。网络空间的贫富分化将进一步加剧，数字鸿沟问题将更加严峻。

为了应对这一挑战，我们必须大力推进网络安全AI的普惠化进程。一方面要加强基础设施建设，降低计算成本，让更多用户能够负担得起AI防护服务。同时，安全厂商要面向中小微企业，提供灵活实惠的AI产品，帮助其快速补齐短板。另一方面，开源社区要发挥独特优势，集众人之智，打造易用、透明、可审计的AI安全工具。只有网络防御资源得到充分共享，才能真正构建韧性十足的安全生态。

超级AI时代的网络安全

当人工智能技术飞速迈向AGI（Artificial General Intelligence，通用人工智能）和超级智能（Superintelligence）时代，网络安全的范式势必面临颠覆性的变革。由于先进的AI系统已具备了自我迭代优化的能力，未来的网络安全之战很可能演变为一场“AI对决AI”的角力。防御方需要部署更智能、更敏捷的AI模型，来对抗攻击方开发的进攻性AI武器。自动化的网络攻防将在毫秒、微秒的时间尺度内反复博弈，远超人类专家团队的反应速度。

根据未来学家Ray Kurzweil的预测，人类有望在2045年前后实现AGI的突破。届时AI系统的智能水平将与人类不分伯仲，能够胜任几乎所有领域的认知工作。一个令人担忧的可能性是，如果AGI落入心怀不轨之人之手，恶意AI将以史无前例的规模对网络空间发动攻击。攻击目标不再局限于信息系统本身，还可能波及交通、电力、供水等关键基础设施。由AI挖掘的“零日”漏洞、AI合成的蠕虫木马，都将成为极其棘手的安全隐患。

为了应对这一威胁，网络安全领域必须积极拥抱AI技术，大力发展基于机器学习、深度学习的智能防御体系。传统的基于规则、特征库的检测手段很快就会举步维艰，了解并接纳自适应、自进化的AI安全大脑势在必行，从而通过云端协同，实现全网威胁情报的实时共享；利用图神经网络、知识图谱等前沿算法，构建全局业务关联模型，从海量、高维的异构数据中精准定位违规行为；结合强化学习、生成对抗网络等技术，不断迭代对抗策略，对未知攻击做到快速响应。

值得一提的是，在后量子密码学时代，现有的RSA、ECC等加密算法很可能被量子计算机攻破。此时，就需要全新的密码学体系来保障通信安全和数据隐私。AGI有望催生革命性的密码学原理，构建经得起量子攻击的防护墙。其中，同态加密（Homomorphic Encryption）是一个具有前景的研究方向，它允许直接对密文进行计算，在保护隐私的同时实现数据价值的释放。分析认为，同态加密与AI的结合，将极大拓展隐私计算、安全多方计算的应用场景。

另一个值得关注的领域是AI本身的安全问题。如果AGI/超级智能系统出现失控、转向恶意，其破坏力将是毁灭性的。“AI威胁全球99%关键信息基础设施”绝非危言耸听。因此，打造安全可控、稳健友好的AGI不仅是AI社区的当务之急，更关乎人类的生死存亡。我们需要在算法层面防患于未然，从底层架构入手，融入可解释性、可审计性等安全属性。同时要加强对AI系统的行为约束和伦理规范，建立健全相关的法律法规。可喜的是，微软、谷歌等企业已经成立了专门的AI伦理委员会，与各国政府展开广泛合作。“可信AI”、“负责任AI”等理念日益深入人心。

总而言之，AI将给网络安全格局带来翻天覆地的变化。在“AI军备竞赛”的大背景下，唯有保持技术引领、坚持早做布局，才能在这场没有硝烟的战争中赢得主动。同时我们必须高度重视 AI伦理、AI安全等基础性议题的研究，为人工智能的健康发展提供坚实的制度保障。网络空间的未来，很大程度上取决于我们现在的选择。

发展与安全并重的“中国模式”

我国AI产业在全球占有重要地位，稳居世界第一梯队，在技术创新、产业规模和应用领域等方面取得了显著成就。在我国，人工智能被认为是形成新质生产力的重要引擎，成为各地竞相抢占的产业新赛道。

我国高度重视AI安全发展，逐步形成了较为完善的发展政策和法规体系。例如，成立国家层面的国家新一代人工智能治理专业委员会，旨在制定和发布人工智能治理的原则和规范，以确保人工智能的发展是负责任的、安全可靠的，并且能够促进社会的可持续发展；国家安全部提出了化解AI带来的国家安全挑战的办法，包括数据窃取、网络攻击、经济安全等风险；全国网络安全标准化技术委员会今年9月发布了《人工智能安全治理框架》，旨在推动社会各方积极参与、协同推进人工智能安全治理。在国际合作方面，我国主导的《全球人工智能治理倡议》和《人工智能安全治理框架》为国际合作提供了重要思路。

随着人工智能技术的迅猛发展，我国正站在超级AI时代的门槛上。在这个关键时期，网络安全面临着前所未有的机遇与挑战：

首先，必须充分认识到AI安全风险的多元性与复杂性。正如《人工智能安全治理框架》所指出的，AI安全风险涵盖了内生安全风险和应用安全风险两大类，包括模型算法安全、数据安全、系统安全以及网络域、现实域、认知域、伦理域等多个方面。特别值得关注的是，随着AI技术的不断演进，新的风险类型可能不断涌现。例如，已经出现了基于“黑灰产”数据训练的“黑模型”，专门用于诈骗等非法活动。这要求我们建立一个动态、适应性强的风险识别和评估体系。

其次，我国在AI安全发展中面临着如何平衡创新与管控的挑战。我们需要采用“包容审慎、确保安全，风险导向、敏捷治理”的原则，在鼓励AI创新的同时有效管控安全风险。这需要政府、企业、学术界、社会组织和公众等多方共同参与，形成协同治理的格局。正如中国工程院院士邬江兴所强调的，我们应该"尽量避免使用单一模型，要交叉验证"，这一建议不仅适用于技术层面，也适用于治理模式。

在技术层面，我国应当大力发展AI安全技术。正如安恒信息董事长范渊所言，“以AI对AI、以AI管AI”是数字治理的必然趋势。AI让网络攻击的门槛更低，更难以防范。用AI来防控和治理AI，正在成为安全领域的必选项。我国需要继续推动AI安全技术创新，构建可控可信的人工智能安全防护体系，以保障AI业务健康安全运行。

此外，推动AI安全能力的普惠化也是我国面临的重要任务。目前，高水平的AI安全能力往往集中在少数大型科技公司和研究机构手中，这可能导致安全鸿沟的出现。我们需要通过推动开源AI安全工具的发展、鼓励大型企业开放部分安全能力、加强AI安全教育和培训等方式，提升整个社会的AI安全素养。

最后，始终将伦理考量置于核心地位。AI安全不仅是技术问题，更是伦理问题。我国应当在追求技术进步的同时，确保AI系统的公平性和非歧视性，保护个人隐私和数据权益，维护人类对AI系统的有效控制。