文章重点是与企业安全领导者和首席执行官深入探讨如何确保生成式人工智能应用和大语言模型的安全。其中，分析的重点是企业采用人工智能的情况，这是影响安全厂商未来发展的关键因素。从人工智能安全到云安全的演变： 人工智能/大语言模型安全正在迅速崛起，成为更广泛的网络安全领域中的一个重要领域。该市场仍处于起步阶段，与云安全早期的情况如出一辙，当时出现了多代供应商，经过大量整合后最终胜出。然而，与云计算不同的是，人工智能的发展速度很快，进入门槛较低，这表明其发展速度可能会更快。这个新市场蕴含着巨大的长期潜力，尤其是随着企业继续大规模采用人工智能。
企业采用情况各不相同：企业对人工智能/大语言模型的采用正在增长，但许多组织仍处于试验阶段，在大规模部署前要仔细评估风险。多个数据集显示，90% 以上的 IT 领导者将确保人工智能安全作为优先事项，77% 以上的 IT 领导者在过去一年中遭遇过漏洞。然而，不确定性，以及企业对数据泄露、治理模式幻觉和管理自主人工智能代理的复杂性等问题的警惕，“这些人工智能技术 ”尚未普及。有些企业选择构建自己的内部解决方案，但随后看到越来越多的企业将重点放在评估大语言模型供应商的安全性上，并打算明年进行购买。
- 并非所有人工智能都一样：区分预测性人工智能和生成性人工智能至关重要，因为它们具有不同的目的，需要不同安全方法。后者具有创建新内容和模拟复杂决策过程的能力，因此会带来更多样化的安全挑战。
- 供应商格局和市场动态：人工智能安全供应商的情况多种多样，各公司都专注于人工智能/大语言模型安全的各个方面，从治理和可观察性到特定的安全功能，如数据保护、模型生命周期和运行时安全。研究发现，许多初创公司都在采用平台方法来提供广泛的解决方案，以确保这些大语言模型的安全，而不是专注于某一细分领域。这与传统安全初创企业的工作方式有所不同。
![]()
图1 跨生命周期的生成式AI攻击面（Gartner）人工智能安全是一个新兴市场，现有的网络安全市场有一些历史规律可循。回顾企业以往的重大范式转变，如云与云安全厂商的关系，我们会发现，云安全的发展经历了多代企业（在Sysdig和Wiz等公司出现之前的Dome9、红锁）——许多早期进入者被收购，如Evident.io公司。第二代公司（Orca、Aqua）表现一般，也有一些夭折（Lacework）。不过，直到第三代，我们才看到 Wiz、·派拓网络和 CrowdStrike 等明显的赢家。 同样，在人工智能领域，预计会出现一系列安全厂商。然而，与云计算不同的是，人工智能的发展速度很快，进入门槛较低，这意味着我们可能会看到人工智能/大语言模型 安全解决方案的发展速度更快。 首先，就是必须了解 “如何”定义人工智能的安全性。开发、采购和部署人工智能模型的方式发生了重大转变，引入了新的风险层。传统上，企业有一个简单明了的选择：在内部构建模型、使用开源模型或依赖第三方托管解决方案。然而，基础模型的兴起--可针对特定任务进行调优的大规模预训练模型--改变了格局，导致了对第三方模型的广泛依赖。这种依赖带来了巨大的安全隐患。虽然开源模型提供了灵活性并节省了成本，但它们也可能隐藏着漏洞。即使采用更安全的格式，在模型架构本身嵌入恶意代码的可能性仍然是一个重大威胁。自从 2022 年 ChatGPT 发布以来，人工智能世界就像坐上了过山车，而且不会很快停下来。最初由人工智能驱动的生产力的承诺所带来的热情已逐渐消退，但这股势头还远远没有结束。虽然大多数白领工作仍未受到影响，随着大语言模型（LLM）和人工智能功能开始融入日常应用，围绕人工智能的炒作也在不断演变。生成式人工智能不再只是一个流行语，它正在成为我们创造、推理和与技术互动的基本方式。 如今，人工智能使我们能够生成图像、视频、文本和音频，以以前无法想象的方式补充人类的创造力。更重要的是，人工智能的多步骤代理推理能力使其能够模拟类似人类的决策过程。这一演变标志着一个重大转变，它反映了过去二十年科技领域的类似转变--云的崛起。 正如我们在本文前面所讨论的，企业技术的上一次重大转变是云的出现，它彻底改变了应用程序、商业模式以及人们与技术的交互方式。正如云以一种新的服务交付模式取代了传统软件一样，人工智能现在也准备以软件取代服务--这种变化可能会产生指数级的影响。与任何平台转变一样，前人的经验教训对于驾驭当前的格局至关重要。云计算的演变告诉我们，虽然先行者可能会奠定基础，但真正的赢家往往需要多代人才能出现。 这一原则同样适用于人工智能。在企业内部部署人工智能/大语言模型 是一种模式转变，与云的影响类似。我们可能正处于早期阶段，人工智能安全领域的最终领导者仍在形成之中。在企业纠结于部署开放模式还是封闭模式时，这与 2010 年代初企业认为可以托管自己的内部云，但最终决定使用超大规模云的情况有些相似。随着新型网络威胁的出现，我们预计企业将不断适应，而人工智能安全领域也将经历多次迭代，最终确立最成功的参与者。 每一次新的技术变革都伴随着创新这把双刃剑。虽然人工智能拥有巨大的潜力，但它也为恶意行为者提供了新的机会。发动复杂的、类似于民族国家的网络攻击的成本正在急剧下降，而人工智能的能力比云计算更能降低攻击者的准入门槛。这一现实凸显了对强大安全措施的迫切需求，也为网络安全领域的初创企业和成熟公司提供了肥沃的土壤。与云安全的类比可作为理解人工智能安全潜在轨迹的路线图。正如云基础设施的规模经济导致亚马逊、微软和谷歌等科技巨头占据主导地位一样，我们可能会在人工智能领域看到类似的动态，能够快速扩展和创新的企业将成为赢家。就移动技术而言，早期的创新者（iOS）建立了一个封闭的生态系统，而谷歌随后迅速推出了一个开放的生态系统（安卓），巩固了市场的其他部分。人工智能安全可能会出现类似的封闭模式和开放模式的对立，市场将围绕最有效的方法进行整合。 当我们站在这个新时代的悬崖边上时，眼前的景象是模糊的，前进的道路仍在规划之中。但有一点是明确的：人工智能安全的发展将是企业如何采用和部署人工智能技术的关键决定因素。正如云安全最终走向成熟和稳定一样，我们预计人工智能安全也将遵循类似的轨迹--我们将在本报告中对此进行深入探讨。 人工智能将以多种方式影响安全。主要有两种分类：安全领域的人工智能和人工智能安全。不同来源的公司对人工智能的分类各不相同。一般来说，这些领域的所有公司都有一个核心相似点：- 在网络路径中充当代理，检查企业网络流量数据的公司 ；
- 在应用层作为扩展或嵌入代码的公司，帮助执行数据安全和访问权策略。
这些解决方案用于在安全运营和开发人员之间自动执行安全解决方案。它包括我们如何在多个领域利用人工智能：- 安全运营中心（SOC）自动化：利用人工智能提高 SOC 分析师的任务效率。
- 应用安全：使用人工智能来更好地进行代码审查、管理开源或第三方依赖关系，并申请应用程序的安全性。
- 威胁情报：人工智能的进步可以更好地帮助安全团队获得威胁情报，并实现渗透测试和异常检测等人工领域的自动化。
人工智能安全侧重于生产环境中的安全人工智能/大语言模型。大体上，该领域的许多企业可分为以下几类： - 治理：它们帮助企业建立治理框架、风险管理协议和政策，以实施人工智能。
- 可观察性：当这些人工智能模型部署到生产中时，它们会对其进行监控、捕获并记录数据。它们有助于捕获输入和输出，以检测滥用情况，并为团队提供全面的可审计性。
- 安全性：实现人工智能模型的安全性--特别是识别、预防和应对人工智能模型的网络攻击。
i.管理员工如何安全访问生成式人工智能（GenAI）应用程序和安全的企业人工智能（AI）应用程序。![]()
在深入探讨人工智能的安全作用之前，我们必须了解企业目前是如何部署人工智能的。随着企业采用大语言模型和检索增强生成（RAG）等技术，生成式人工智能（Gen AI）的承诺是提高生产力和降低成本。人工智能大有可为，领导者也愿意使用人工智能来推动取得更好的成果，但许多企业仍在摸索如何使用人工智能。一些企业比其他企业走得更远，但许多企业仍处于试验阶段--在大规模部署之前评估其利弊。
![]()
预测型人工智能与生成型人工智能。必须明确的是，预测性人工智能和生成性人工智能是不同的，二者服务于不同的目的。预测型人工智能侧重于分析现有数据（训练有素的标签数据集），以便对未来做出明智的预测或决策，例如推荐产品。相比之下，生成式人工智能则不局限于分析，而是根据训练数据中发现的模式创建全新的内容，如文本、图像或音乐。人们很容易将其混淆。 摩根士丹利最近在《美国科技：24 年第二季度首席信息官调查--稳定的预算、紧张的首席信息官》报告中公布了一些数据，显示首席信息官正在优先考虑围绕净人工智能/机器学习项目的举措。截至 24 年第二季度，人工智能（AI）/机器学习（ML）在首席信息官优先级列表中排名第一，净优先级比 24 年第一季度有所上升（约 16% 的首席信息官将其列为首要优先事项）。在 24 年第二季度的调查中，人工智能/机器学习的优先级环比增幅最大。它们被称为生成式人工智能。微软（MS）第二季度的数据凸显了首席信息官对生成式人工智能技术的日益热衷。此外，75% 的首席信息官现在表示，生成式人工智能/大语言模型 对 2024 年的 IT 投资优先级有直接影响，比 24 年第 1 季度的 73% 和 23 年第 4 季度的 68% 有所上升。 ![]()
有趣的是，尽管首席信息官优先考虑AI/ML，但在项目中，实际实施这些AI/ML项目的比例却有所下降。他们明确表示，正在等待生成式人工智能支出推动软件预算的实质性增长。“与此同时，我们也在等待创新驱动的支出周期（由生成式人工智能驱动）来推动软件预算的增长，但由于对如何构建生成式人工智能解决方案的参考架构缺乏信心，以及生成式人工智能解决方案尚未构建到打包应用产品中，因此该周期的时间可能会被推后。 ”![]()
图 5：首席信息官称，与此前调查相比，AI/LLM 已投产的项目时间表有所放缓 总体而言，摩根士丹利的大部分数据都证实：大多数企业都希望推动人工智能计划，但要完成执行和部署仍将是一个漫长的过程。许多公司认为要到 2025 年才能大规模实施并确定产品支出。在这一点上，生成式人工智能（GenAI）的优势显而易见。但风险也更大，也更不清晰，这使得大规模部署变得更加缓慢。波士顿咨询公司（BCG）2023年对全球2000名高管进行的调查发现，50%以上的高管因各种风险因素而不愿意采用GenAI。其中一些风险集中在这些模型的安全、治理、法规和产出方面。 ![]()
图6：采用生成式 AI/LLM/xGPT 的主要挑战/障碍 来源：Jump Capital- AI 风险堆栈的安全性 如今，任何快速部署人工智能的企业都可能面临如何部署治理协议，以管理敏感数据的流入和流出——无论是为客户服务还是在企业内部。企业必须管理如何执行与个人身份信息（PII）相关的内部政策和外部监管框架。此外，训练模型的成本仍然很高，而且一些模型输出仍然会产生幻觉。 （1）企业使用 GenAI 工具的方法
正如本文大部分内容所讨论的那样，许多企业要么选择将 ChatGPT 等 GenAI 工具的 URL 列入企业防火墙的黑名单，从而完全阻止对这些工具的访问。这种方法降低了风险，但可能会导致生产力损失，且无法解决与远程员工或非托管设备相关的问题。
与 GenAI 工具相关的风险
1.无意中暴露数据：员工将敏感数据粘贴到 ChatGPT 中，可能会无意中暴露数据，导致意外泄露。
2.恶意内部活动：恶意内部人员可能会通过精心设计的问题向 GenAI 工具输入敏感数据，从而操纵 GenAI 工具，当从不受管理的设备上提出相同问题时，数据就会外泄。
3.有风险的人工智能浏览器扩展：这些扩展可以从用户正在使用的任何网络应用程序中窃取任何数据。企业正在使用像LayerX这样的浏览器扩展安全公司，来保护其设备、身份、数据和软件即服务（SaaS）应用免受基于网络的威胁，而传统的端点和网络解决方案可能无法应对这些威胁。这些威胁包括数据泄露、通过网络钓鱼窃取凭证、账户接管，以及发现和禁用恶意浏览器扩展等。
在生成式人工智能领域，像LayerX这样的公司发挥着至关重要的作用。通过部署浏览器安全扩展程序，可使企业能够在 ChatGPT 等 GenAI 工具中应用监控和治理行动。这包括阻止访问、警告和防止特定操作，如粘贴或填写敏感数据字段。这些控制措施有助于员工提高工作效率，同时保护敏感信息。该扩展程序可深入了解用户发起和网页发起的浏览事件。这一功能使扩展程序能够在潜在风险发生之前，就加以识别和缓解。由于 GenAI 工具是通过网络会话访问的，因此该扩展可以监督和管理用户与它的交互方式，包括根据上下文确定哪些操作是允许的。LayerX 还与其他移动设备管理（MDM）、防火墙和端点检测与响应（EDR）供应商集成，以加强浏览器的安全性。
（2）企业采用人工智能/大语言模型：开放与闭源模式
在深入了解企业未来将如何采用人工智能/大语言模型时，同样重要的是评估企业将采用开放式还是封闭式模式，这对未来有何影响，以及安全的作用。 关于开放式与封闭式模式是否会成为市场上的主导模式，目前仍有很多争论。主要的内容安全策略（CSP）和人工智能公司都在投入大量资金以赢得胜利。 如今，领先的模式是闭源公司，如 ChatGPT-OpenAI、Anthropic公司 的 Claude模型，以及谷歌公司逐渐推出的 BERT/Gemini模型。截至目前，OpenAI 等闭源模式是全球企业使用的主要模式。 据新兴资本（Emergence Capital）发布的《超越基准报告》估计，OpenAI 占当今 LLM 部署市场份额的 70%～80% 左右，遥遥领先于占 10% 左右的谷歌 Gemini。企业通常会选择 OpenAI 这样的闭源模式，因为其稳定性和性能已得到大规模验证。这些模型提供全面支持、定期更新和集成服务，是关键任务应用的理想选择。此外，还有 Anthropic公司 的 Claude模型，它专注于道德人工智能，旨在更安全、更符合对道德人工智能感兴趣的企业的需求。OpenAI 等闭源模式提供即插即用的解决方案，可轻松集成到现有企业系统中。这对那些寻求快速部署而又没有丰富的内部人工智能专业知识的企业很有吸引力。 ![]()
摩根士丹利的研究表明，微软是一个重要的受益者。第二季度的调查发现，94% 的首席信息官表示计划在未来 12 个月内至少使用一种微软的生成式人工智能产品（Microsoft 365 Copilot 和 Azure OpenAI Services最受欢迎），相比 23 年第四季度的 63% 和 23 年第二季度的 47% 有了显著提高。展望未来三年，有 94% 的首席信息官表示计划使用微软生成式人工智能产品，这表明这种采用水平应该是持久的。 此外，值得注意的是，微软针对AI/LLM 的安全大语言模型正在获得越来越多的关注。根据微软的盈利电话会议，已有超过1000名付费客户使用了Microsoft Security Copilot产品。 目前流行的是 Meta公司 和 Mistral公司 的 LLaMA 2。关于开源模型一直存在争议，因为它们允许企业定制和调优模型，以满足其特定需求。这种灵活性对有独特需求的企业，或希望将自己的人工智能应用与竞争对手区分开来的企业来说至关重要。最重要的好处是，有了开源模型，企业可以完全在自己的基础设施内部署模型，确保对数据隐私和安全的完全控制。这对于数据保护法规严格的行业尤为重要。 成本考虑--部署开源模型所需的初始设置和专业知识可能较高，但与闭源模型公司相比，由于无需持续支付许可费用，长期成本通常较低。拥有内部人工智能专业技术的企业往往更青睐这种成本优势。 在开放或封闭模式占据最大市场份额的世界中，考虑网络安全供应商的作用至关重要。·在开源世界中，网络安全供应商必须考虑到模式部署的巨大多样性。每个企业都可能以不同的方式修改模式，这就要求供应商提供适应性强、可定制的安全解决方案。这增加了复杂性，但也为针对特定行业或企业需求量身定制的利基解决方案创造了机会。开源模型提供了模型架构和代码的完全透明度，使网络安全供应商能够对模型进行全面分析并确保其安全。由于部署开源模型的企业通常保留对其数据的完全控制权，因此供应商必须专注于保护内部基础设施的安全并确保数据隐私。 ·在闭源模式的世界里，闭源模式往往在各企业间有更加标准化的部署。这种统一性可以简化安全解决方案的开发。在闭源模式下，供应商对模型内部的访问可能有限，因此开发深度集成的安全解决方案具有挑战性。他们可能不得不依赖模型所有者提供的应用程序接口或其他接口，这可能会限制可应用的安全措施的深度。还有一个问题是，网络安全供应商是否需要与 Open-AI公司合作才能真正提供深度安全，或者 OpenAI公司是否会购买更多深度安全解决方案。生成式人工智能和大型语言模型的出现，在将人工智能的安全性和可靠性推向前沿方面发挥了关键作用。随着企业部署AI/LLM，也同时带来了一系列新的风险和漏洞，网络攻击者会加以利用。
这些问题已经存在了一段时间，但往往被边缘化，批评者将其视为理论问题而非实际问题。现在，围绕人工智能安全责任的模糊性--究竟是安全团队的安全问题，还是机器学习（ML）和工程团队的操作问题--现已得到解决。
人工智能（尤其是生成模型）带来的一个更微妙但更深刻的挑战，是应用程序中控制平面和数据平面的融合。在传统的软件架构中，控制应用程序的代码与其处理的数据之间有着明确的界限。这种分离对于最大限度地降低未经授权访问或篡改数据的风险至关重要。 生成式人工智能模型将控制和数据整合到模型本身，从而模糊了这种区分。这种集成通常会将推理过程直接暴露给用户，在用户输入和模型输出之间建立直接联系。这种暴露带来了新的安全漏洞，类似于传统应用程序中与 SQL 注入相关的风险。一个日常使用的案例是提示注入攻击，恶意用户通过精心设计输入来利用模型行为。在 LLM 中，这些攻击是一种新出现的威胁。 此外，第三方模型的使用也引发了对数据安全性的担忧。在推理过程中，包括个人身份信息（PII）等敏感信息在内的专有数据，通常会被输入到这些模型中，从而有可能将其暴露给安全性未知或不足的第三方提供商。无论是通过模型提供商滥用数据，还是通过意外输出，数据泄漏的风险都凸显了在人工智能系统中,采取严格数据安全措施的迫切需要。 行业正在努力对顶级风险和攻击进行标准化，但到目前为止，我们还没有经历过重新定义行业的重大漏洞。整个行业最常用的标准是“开放式 Web 应用程序安全项目”(OWASP) 的AI/LLM 十大风险，或“人工智能系统的对抗性威胁全景”（MITRE ATLAS）。 突出的风险包括成员推理攻击、模型提取攻击、规避攻击、后门攻击、越狱攻击和强化风险。在最基本的层面上，许多企业面临的最大问题是在员工使用聊天机器人和访问 GenAI 应用程序时，如何管理企业数据的流入和流出，尤其是考虑到员工使用 GenAI 应用程序的比例增长了 44%。 ![]()
图8：ChatGPT数据曝光数量 来源：LayerX Research然而，展望未来，企业将面临大规模风险--主要是围绕管理生产中的自主代理和 LLM。要了解人工智能的风险因素，最好的方法之一，就是着眼于整个供应和模型的开发，谷歌创建了人工智能安全框架。与我们考虑整个软件供应链风险的方式类似，企业在整个 ML 供应链中也面临着不同类型的攻击。 ![]()
与此类似，但在一个广泛的层面上。我们可以评估 ML 供应链攻击的风险。模型可能会被操纵，提供有偏见、不准确或有害的信息，用于创建有害内容，如恶意软件、网络钓鱼和宣传，用于开发深度伪造图像、音频和视频，任何恶意活动都可以利用这些信息获取危险或非法信息。 ![]()
图10：机器学习供应链攻击 资料来源：隐藏层机器学习供应链攻击 这是一种复杂的网络攻击形式，攻击者通过巧妙地操纵输入数据来欺骗人工智能模型，使其做出错误的预测或决策。这些攻击利用了模型对输入数据中特定特征的敏感性。通过引入微小的、通常难以察觉的变化，例如改变图像中的几个像素，攻击者可以使人工智能模型对数据进行错误分类。 例如，在图像识别系统中，精心设计的对抗性攻击，可能会导致模型错误地将停车标志识别为限速标志，从而可能导致危险的现实后果。在自动驾驶汽车、医疗诊断和安全系统等关键应用中，这类攻击尤其令人担忧，因为在这些应用中，人工智能模型的可靠性和准确性至关重要。对抗性攻击能够巧妙地破坏人工智能模型，而没有明显的破坏迹象，这突出表明需要先进的防御策略，如对抗性训练和强大的模型评估技术。 模型反转是一种攻击，可使对手通过分析人工智能模型的输出重建敏感的输入数据，如图像或个人信息。这会带来严重的隐私风险，尤其是在医疗保健和金融等应用中。要防范这种情况，就需要对模型暴露和输出处理进行仔细管理。 这是人工智能系统面临的另一个重大威胁，它涉及在人工智能模型的训练数据集中，故意注入恶意或误导性数据。这种攻击的目的是破坏模型的学习过程，导致有偏见或不正确的结果。例如，如果人工智能模型旨在检测欺诈交易，攻击者可能会引入有毒数据，将某些欺诈活动错误地标记为合法活动。因此，该模型在实际环境中部署时可能无法检测到实际欺诈行为。
数据中毒的危险在于它能够从基础层面破坏人工智能模型。一旦模型在中毒数据的基础上进行了训练，其不准确性和偏差就会深入人心，从而使识别和纠正问题变得十分困难。这种类型的攻击尤其隐蔽，因为它在模型部署之前可能一直处于隐蔽状态，而此时损害可能已经非常严重。 ![]()
图11：对AI攻击-数据中毒 资料来源：人工智能威胁状况报告 生成模型就其本质而言，可以产生几乎无限的输出。虽然这种灵活性是一个关键优势，但也带来了大量潜在挑战。对这种模型的评估相对简单，重点是在狭窄范围内的分类正确性。 相比之下，对生成式人工智能模型的评估则要复杂得多，涉及多个方面。仅仅确定模型的输出在技术上是否正确是不够的，利益相关者还必须评估输出的安全性、与环境的相关性、与品牌价值的一致性、潜在毒性以及产生误导或 “幻觉 ”信息的风险。这种复杂性使得确保人工智能系统可靠性的任务，变得既具有挑战性又细致入微，需要采用更广泛、更复杂的评估方法。 判别模型的性能评估通常比较简单。它依赖于成熟的统计指标，来量化模型预测与已知结果一致的准确程度。这些模型通常在标注数据集上进行训练，可以根据历史数据对性能进行清晰、客观的评估。然而，生成模型（如聊天机器人和其他自然语言处理（NLP）应用中使用的模型）则面临着一系列不同的挑战。其输出的质量和适当性不仅是多维度的，而且具有很强的主观性。什么是 “好的”、“安全的 ”或 “有用的”，会因语境、受众和个人偏好的不同而大相径庭。在整个研究过程中，作者与参与评估人工智能安全解决方案的首席信息安全官、首席信息官和买家进行交流，感觉目前的应用虽仍处于起步阶段，但已开始走向成熟。 大多数首席信息安全官正在基于以下几点购买新的生成式人工智能解决方案： 首先，这仍然是一种“购买而非自建 ”（ buy-compared-to-build）的解决方案，因为大多数内部人工智能人才，都被分配到了开发模型或 LLM 上。与此同时，安全团队需要同时具备创建解决方案的能力。这不仅包括安全团队，还包括存在跨职能重叠的团队，如数据、商业智能甚至新的生成式人工智能团队。 其次，组织和企业正在努力确保员工和数据的安全。在这里，我们看到了借用“零信任网络访问” （ZTNA）框架的传统方法论，包括“数据丢失保护”（ DLP）、“云访问安全代理”（ CASB）和一些类似“安全Web网关”(SWG) 的解决方案，除了使用目前利用人工智能的 “软件即服务”（ SaaS） 型工具（如 Canva）外，还在员工直接使用的工具（与 ChatGPT 交互）之间充当代理。简单地说，就是人工智能的输入/输出。当问及如何在众多竞争激烈的初创公司中，选择最佳解决方案时，这些领导者通常会综合考虑以下几点：1.需要随时了解谁在使用什么；2.确保不与外部 AI/LLM 平台共享敏感数据；3.有基本的“基于角色的访问控制”（RBAC），规定谁可以访问什么（被称为影子 AI）。 第三，企业开始在实际需要之前，购买人工智能安全解决方案。这听起来有悖常理，但几家上市公司的首席信息安全官透露，董事会/股东要求制定人工智能护栏和安全措施。我们喜欢这样打比方：这几乎就像雇用一组保镖来保护一张空白的画布，但人们普遍认为，一旦画布被画上，它几乎就会变成毕加索或蒙娜丽莎。与此相关的是，更重要、更复杂的企业将要求拥有“AI-软件物料清单” (AI-SBOM)，即创建和部署人工智能或 LLM 时使用的所有组件、依赖关系和元素的详细清单或列表。就人工智能而言，软件物料清单（SBOM）包括以下内容：·数据源：用于训练人工智能模型的数据集，包括有关数据来源、处理方式以及任何偏差或限制的元数据。·算法和模型：开发过程中使用的特定机器学习算法、模型或框架（如 TensorFlow、PyTorch），包括版本和配置。- 软件库和依赖关系：人工智能系统依赖的所有软件库、软件包和依赖项，包括其版本。
- 训练过程：有关训练过程的详细信息，包括环境、资源和使用的任何特定超参数。
- 硬件依赖性：如果人工智能系统需要特定硬件（如 GPU），这也将包含在 SBOM 中。
- 安全与合规信息：与人工智能系统的安全漏洞、合规性以及任何认证或审计相关的信息。
在采用人工智能方面，一部分企业是先行者。我们采访了一位客户，他使用亚马逊云计算平台（AWS）和 LangChain框架，创建了首批面向客户的聊天机器人之一。他们目前使用的是生成式人工智能安全解决方案，该解决方案（通过应用接口）位于聊天机器人前端，以确保不对外共享任何敏感信息。同样，买家在评估确保敏感信息不被泄露的有效性方面，也变得越来越聪明。在这方面，企业也在应用其 LLM，并不断进行调优，以确保高效（概念验证通过率大于 90%）。与此同时，还要保证低延迟（目前还没有很好的衡量标准）。在调优方面，笔者正在收集首席信息安全官/首席信息安全官和买家的意见--他们清楚地知道这属于购买范畴，因此开始询问提供商的模型通过了多少对抗测试，以及可以分享哪些结果。政府、金融服务、汽车、石油/能源、旅游和科技/电子商务这些行业，正在利用这些供应商。在所有行业中，用户案例往往以模型安全、边界防御和用户安全为中心。旅游业是采用聊天代理较快的行业之一，因此，采用人工智能安全提供商势在必行。从长远来看，容易贬低聊天机器人用例的准确性，但这清楚地表明，人们希望使用一种整体解决方案，来保护员工、敏感数据和面向客户/内部的人工智能应用。人工智能安全发展的下一个明显标志，是保护代理应用。帮助企业安全地开发和部署第一个非决定性计算应用，超越第一个聊天机器人，这是一个巨大的机遇，也是目前最不成熟的机遇。我们开始看到一些公司实现了这一飞跃，例如 Apex Security公司，他们推出了基于人工智能代理的风险和缓解服务。 目前，首席信息安全官和从业人员在人工智能安全方面面临以下挑战。对于 CISO 来说，挑战在于：- 人工智能风险教育：CISO 需要更多地了解与使用 AI 相关的风险，尤其是第三方风险，因为大多数语言模型都是由外部供应商提供的。
- 人工智能和数据的可见性：人工智能正在挑战传统的数据分类实践，导致人们对数据蔓延和访问的担忧。围绕 “影子人工智能 ”和组织内部使用开源人工智能的新对话正在出现。
对于网络安全从业人员来说，面临的挑战是双重的：了解威胁形势：从业人员在了解不断变化的人工智能威胁形势和确定必要的安全控制措施方面面临困难，这些困难包括： - 已知的安全要求：这些要求包括建立数据策略、确保加密、管理访问控制和保护应用程序编程接口（API），尤其是人工智能主要通过 API 进行交互。
- 未知的安全风险：存在对第三方服务的担忧，如人工智能训练中使用的数据仓库，以及人工智能安全工作中可能出现的重点错位。
对人工智能安全的未来发展前景，行业专家仍然充满信心。与其他 “泡沫 ”相比，人工智能安全在实际需求、CISO 的优先级和长期可行性方面仍处于起步阶段，但显然用户是会“购买”而非“构建”。我们认为，赢家会很集中，输家也不在少数。后者将导致大量并购，预计在 2025 财年下半年会看到一些并购。到那时，将更清晰地看到真正的生产型（面向客户）LLM 应用，以及它们是否会得到广泛应用。在衡量人工智能对生产率和成本的影响时，有些人预测人工智能仍将是投机性的。 在整合方面，有望看到熟悉的名字，如派拓网络（PANW）、Zscaler、思科和其他大型现有企业。大语言模型和人工智能创新步伐加快，以及人工智能安全的发展，将推动大型现有企业收购相关初创企业，这些企业不仅要有人才，还要有灵活性，能够跟上市场需求。预计，相关团队将依据其AI/ML和安全人才被收购。 明年的AI发展将会更加清晰。我们将了解到有多少人工智能真正投入到生产中。从董事会层面临使用人工智能的压力，到安全部署人工智能，许多企业都在顺势而为；我们称之为 “一垒”，而要想进入 “二垒”，人工智能安全公司将需要开发出最“无碍产品”（ frictionless products），不妨碍生产，确保不引入延迟，更重要的是，让员工和各类应用完全了解正在发生的事情。 当前我们还在起步阶段，但事情正在变得更加真实。至于安全问题，这是一个多么令人兴奋的时刻--我们正在经历又一次巨大的结构性转变，它将释放生产力和业务，同时也会引入漏洞，其中一些已开始为人所知，而另一些则是全新的。我们很高兴看到这一领域的发展，并希望在未来的岁月中重新审视这一领域，看看预测错了多少、对了多少。
弗朗西斯 网络安全研究员和独立分析师 、软件分析师创始人。
文章来源: https://mp.weixin.qq.com/s?__biz=MzIwNjYwMTMyNQ==&mid=2247492246&idx=1&sn=71f881b1e1f6801e0390522b1a0e88e4&chksm=971d8f94a06a06822d0284de12f646ca781e8773be882127bf30347e41403270a4b00a9a1ee7&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh