生成式人工智能（GenAI）正处于技术创新的前沿，为各个行业变革发展带来新的可能性。然而，随着这些技术的不断应用与整合，企业组织也必须谨慎对待其应用安全性和监管合规，以负责任和可持续的方式实现GenAI技术的价值落地。日前，专业媒体Helpnetsecurity收集整理了多家研究机构在2023年开展的GenAI技术应用调查，并对其主要预测观点进行了总结。通过对这些观点的总结和观察，将有助于企业组织在2024年更好地应用GenAI技术。

Zscaler公司今年针对900多名全球IT决策者进行了一项调查，数据显示，尽管89%的组织认为像ChatGPT这样的GenAI工具存在潜在的安全风险，但仍然有95%的受访组织已经在其业务中以某种形式使用了这些技术。

令人担忧的是，23%的用户根本没有监控GenAI的使用情况，33%的用户还没有为GenAI应用采取额外的安全措施。这种情况在小型企业（500-999名员工）中尤为明显。51%的受访者预计，其所在的企业在2024年对GenAI工具的关注度将进一步增加，因此需要迅速采取行动，以缩小GenAI采用和安全之间的缺口。

ISG研究数据显示，85%的受访公司认为，在未来24个月内，对GenAI的投资是重要或关键的。然而，大多数公司并没有采取“空白名单”（blank slate）的方式，而是要求或通过服务提供商将GenAI应用整合到现有服务中。

关于生成式人工智能的最大担忧之一是偏见和误解。当生成式人工智能无法生成一个问题的正确答案时，“人工智能幻觉”就会形成。此外，企业在应用AI时，还要担心数据质量和模型被破坏或中毒的可能性。虽然很多企业组织看到了GenAI的潜力，但很少有企业知道该如何处理AI技术的应用风险。ISG报告指出，在通过AI技术实现飞跃式发展之前，企业需要克服的障碍包括安全、版权问题、道德考虑和法律问题。

人工智能并不是一项新技术，多年来，众多科技公司一直在大力投资于预测和可解释型人工智能。但研究机构IDC表示，OpenAI所发布的GPT-3.5系列应用，吸引了全世界的关注，并引发了对GenAI投资的激增。IDC预计，到2027年，全球在人工智能解决方案上的支出将增长到5000亿美元以上。大多数组织都要经历一个向人工智能增强产品/服务过渡的转变过程。

Harvey Nash最新报告指出，AI技术正在全面挑战组织传统的发展模式，但只有15%的企业技术领导者表示已经为GenAI的应用做好了准备，88%的受访者表示加强对AI技术应用的监管至关重要。研究人员发现，尽管AI的市场预测呈爆炸式增长，但仅有10%的组织大规模实施了AI，而更多组织还是处于试点或小规模实施阶段。

对AI有效应用的担忧是显著的，近45%的企业技术领导者表示，AI技术是企业目前最短缺的技能领域，技能短缺将使企业无法跟上技术变革的步伐。

据Portal26发布的调研数据显示，三分之二的受访者承认在过去一年中发生过GenAI安全或滥用事件。73%的受访者已经经历过与GenAI相关的安全事件，其中67%发生在2023年。研究人员认为，企业组织对GenAI应用的安全性担忧正在不断增长，并且应用风险仍未得到有效解决，具体担心包括影子AI应用（占比58%）、数据隐私（56%）、合规治理（63%）、知识产权保护（62%）、训练偏见（55%）、数据安全（60%）以及员工培训（58%）等方面。

根据Abnormal Security公司提供的监测数据，企业组织在2023年所经历的电子邮件攻击数量和复杂程度都出现了明显增长，而主要原因很可能就是因为攻击者广泛使用了GenAI技术。

让安全研究人员最担心的是，GenAI不仅使电子邮件攻击变得越来越复杂，还能够帮助攻击者根据公开可用的信息制作高度针对性和个性化的欺诈电子邮件。

2023年，有许多人已经在经历这些威胁，80.3%的受访者证实，他们的组织已经收到由AI生成的电子邮件攻击。但绝大多数安全负责人并没有做好充分准备，难以防范AI生成的电子邮件攻击。传统的安全防护方法难以应对AI生成的网络攻击，因此，有46%的受访者对检测和阻止人工智能生成的攻击缺乏信心。

IDC的研究人员表示，现代企业组织应该尽快踏上GenAI技术采用之旅以实现业务成功，这需要不断开展与GenAI投资相关的基础活动，确定用例优先级的指导，以及确定构建和实施成功计划所必需的关键利益相关者。构建和使用GenAI模型将需要新的能力，例如“提示工程师”为GenAI系统编写和测试提示。每个组织都必须为核心AI技术和业务能力创建新的技能地图，以便在整个组织中大规模部署GenAI。组织还应该为关键角色建立个性化的培训计划。

Sonatype公司研究表示，企业应用安全领导者和软件开发领导者们都一直认为，GenAI技术将导致软件开发中更普遍的安全漏洞，可能会将DevOps和SecOps引入到危险领域。

调查显示，97%的受访DevOps和SecOps领导者目前已经开始使用GenAI技术。但大多数受访者都认为，安全风险是他们对该技术应用最大担忧。不过，虽然DevOps和SecOps受访者对GenAI的风险看法高度，但在采用率方面却存在显著差异。45%的SecOps领导者已经在软件开发过程中实施了GenAI，而DevOps的这一比例为31%。57%的SecOps受访者表示GenAI每周至少为他们节省6个小时，而DevOps方面只有31%的受访者表示节省了同样时间。

Snow Software公司表示，企业的IT领导者正在努力应对GenAI应用风险挑战，尽管96%的受访者仍然对其组织的SaaS安全措施“有信心或非常有信心”，然而，IT领导者现在必须将GenAI的风险影响纳入其整体SaaS安全方法中。23%的受访者表示，GenAI应用程序是最令人担忧的SaaS安全问题。57%的受访者表示，如果SaaS供应商在他们不知情的情况下使用GenAI，这会让他们感到震惊和焦虑。

https://www.helpnetsecurity.com/2023/12/22/genai-cybersecurity-surveys/

全球首份《AI系统安全开发准则》发布，提出4方面安全监管要求

AT&T Business：零信任是化解AI应用风险的灵丹妙药