邮发代号 2-786
征订热线：010-82341063
文 | 中信建投证券股份有限公司 刘正新 赵彦清 樊奇桢生成式人工智能（AIGC）以其庞大的参数和先进的生成能力在金融领域广泛应用。然而，这项技术在带来诸多创新优势的同时，也伴随着严重的信息安全风险，潜在地威胁到金融机构和客户的利益。本文旨在通过详细的案例分析，探讨AIGC在金融领域的应用现状及其安全挑战，并提出相应安全对策和监管建议。希望本文的研究成果能够为金融机构和监管部门提供宝贵的参考，推动AIGC技术在金融领域的安全、合规和可持续发展。
人工智能（AI），特别是AIGC技术，即人工智能生成内容，涉及使用复杂模型，如OpenAI的ChatGPT和Google的Bard，这些模型具备大量参数和强大的生成能力。这些模型通过在海量数据上进行预训练和微调，使其能够执行包括文本生成、图像创造、语音合成在内的多种复杂任务。随着技术的发展，AIGC在金融领域的应用越来越广泛，涵盖风险管理、信用评估、投资建议、客户服务和市场预测等关键方面。金融行业对信息和数据的依赖特别高，AIGC模型的应用不仅提高了金融机构的操作效率和市场竞争力，还极大地丰富了客户的服务体验。例如，金融机构运用AIGC生成个性化的金融报告，帮助客户更好地理解其财务状况和投资策略；或利用智能客服系统，解决客户的常见疑问，提供及时反馈。然而，AIGC技术的应用也引入了新的安全风险，这些风险包括数据泄露、模型入侵、模型偏见及模型欺诈，可能对金融机构的稳定运营和客户的权益构成威胁。例如，恶意用户可能通过向AIGC模型注入不当输入，来操控模型输出，获取敏感信息或影响决策过程。此外，AIGC模型种类的新型诈骗手段层出不穷，为金融领域安全提出了更严格的挑战。尽管AIGC技术为金融机构带来了显著的效益，如提升决策效率和精确性，它同时也带来了不容忽视的安全风险，这些风险不仅可能威胁到客户的个人利益，还可能引发系统性风险。本节主要从数据泄露、模型入侵、模型偏见和模型欺诈四个方面，深入探讨这些大型AI模型在金融领域可能引发的安全问题及其成因、表现形式及潜在影响。1.数据泄露。数据泄露是指个人或组织未经授权获取或使用金融机构或客户的敏感数据，包括但不限于个人信息、交易记录、信用评分等。数据泄露可能导致隐私侵犯、财产损失、信誉受损，甚至法律责任。AIGC模型由于依赖大量数据进行训练和微调，因此特别容易引发数据泄露问题。（1）成员推断攻击。利用大模型的输出来判断某个数据是否用于训练或微调，从而获取训练数据的信息。例如，攻击者可以通过向一个用于信用评估的AIGC模型输入一些虚构的个人信息，然后观察模型的输出，来推断出模型的训练数据中包含哪些个人信息，以及这些信息对信用评分的影响。（2）模型提取攻击。利用大模型的输出来重建或近似模型的结构或参数，进而获取内部信息。例如，攻击者可以通过向一个用于投资建议的AIGC模型输入一些市场数据，然后观察模型的输出，来估计模型的结构或参数，从而获取模型的内部逻辑或策略。2.模型入侵。模型入侵涉及利用AI模型的输入或输出来误导模型行为，进而控制或操纵模型结果。这类入侵可能导致金融机构和客户利益的直接损失，并可能损害金融机构的信誉。模型入侵的主要表现形式包括如下。（1）对抗样本攻击。利用经过特殊处理的输入诱导大模型产生错误或有害的输出，影响其行为。例如，攻击者可以通过向用于市场预测的AIGC模型输入微小扰动的市场数据，然后观察模型的输出，从而引导模型生成错误的预测或建议。（2）提示注入攻击。利用经过特殊设计的输入或提示来欺骗大模型执行非预期的任务或泄露敏感信息。例如，攻击者可以通过向一个用于客户服务的AIGC模型输入一些包含隐藏指令的问题或反馈，然后观察模型的输出，来欺骗模型执行其他的任务或泄露其他的信息。3.模型偏见。模型偏见指模型在处理数据或生成输出时表现出的不公平或歧视性倾向，这可能导致不准确或不合理的决策结果，损害金融机构及客户的利益和信誉。（1）数据偏见。数据在收集、处理或使用的过程中若出现不平衡或不代表性，将会影响模型的训练和微调。例如，一个用于信用评估的AIGC模型可能使用了不完整或有偏差的数据来训练或微调，导致模型对某些群体或特征的信用评分过高或过低，从而造成不公平或歧视。（2）算法偏见。算法在设计、开发或使用中出现不透明、不可解释或不可控，影响了模型的训练和微调。例如，一个用于投资建议的AIGC模型可能使用了复杂或黑盒的算法来训练或微调，导致模型的输出难以理解或验证，从而造成不合理或误导。4.模型欺诈。模型欺诈通常涉及使用AI技术进行的欺骗行为，AI系统被操纵以生成或模仿虚假信息，误导或损害他人利益。可能导致模型欺诈的方式如下。（1）内容生成：AI模型可以生成假新闻、虚假评论或虚假的社交媒体帖子等，这些内容可能用于影响公众意见、操纵市场或诽谤他人。（2）决策操纵：在金融等行业，AI模型可能被篡改或误导，以做出有利于特定个体或团体的决策，如贷款批准、股票交易建议等。（3）身份盗用和仿冒：AI技术，尤其是深度学习和图像处理技术，可以用来模拟个人的声音、面部特征或行为模式，从而在不被授权的情况下代表他人行事。在人工智能领域快速发展的情况下，ChatGPT等AIGC模型已被广泛应用于各种场景。在JiahaoYu的研究《Assessing Prompt Injection Risks in 200+Custom GPTs》中，通过对AIGC模型的综合测试，特别是对抗性提示，揭示了一种名为提示注入的攻击方式，对AIGC模型的系统造成潜在威胁。以下通过例子详细分析了攻击者如何通过提示注入方式攻击AIGC模型，提取系统提示和获取上传的文件。如图所示为提示注入方法的过程。图 攻击者的提示注入方法，
用于从自定义GPT中提取系统提示和文件
1.攻击过程。攻击者通过两种主要的提示注入方式进行攻击。
（1）返回回复内容攻击：攻击者通过AIGC模型生成的回复内容进行攻击，尝试提取系统的内部提示词。
（2）文件内容获取攻击：利用模型返回的文件内容作为攻击切入点，获取敏感文件信息。
攻击者通过这两种方式，成功地攻击了多个AIGC模型，包括16个由OpenAI制作的自定义GPT和200个从在线GPT存储库中抽样的第三方GPT。
2.攻击结果。通过对不同的GPT模型进行测试，如表得到以下结果。
分析表格可见，大部分GPT应用在采用提示注入方式时都成功被攻击。主要威胁包括如下。
（1）提示词提取漏洞。提取提示词后，攻击者可完成对该模型的复制，而泄露的提示词可能含有硬编码的API调用，通常存在越权和其他漏洞。
（2）文件泄露漏洞。敏感或隐私数据的泄露，对用户隐私和数据安全构成直接威胁。
3.防御措施。针对上述问题，可以采取以下防御措施。
（1）预置提示词规则：通过设定模型在检测到攻击时自动返回预设信息，从而阻断非法请求。例如，可以规定模型在接收到特定提示词时回应预定的信息，可以有效拦截攻击。
（2）建立拦截层：通过创建规则，对攻击者的请求进行拦截，对疑似攻击的输入进行拦截和过滤，保护模型不被恶意操作。例如，可以设定某些特定指令或请求，使模型有能力拒绝提供详细信息，从而有效对抗潜在的攻击。
通过这些防御措施，有望在一定程度上减少AIGC模型受到提示注入攻击的风险，提高系统的整体安全性。
为了保护金融机构和客户的利益，以及预防潜在的金融危机，采取一系列有效的安全对策至关重要。这些对策从技术和组织两个层面出发，旨在提高大型AI模型在金融领域的安全性和可靠性。（1）加密。加密是一种有效的技术手段，它通过数学算法将数据或模型信息转换为难以理解或破解的形式。采用对称加密、非对称加密、同态加密等技术可以保护数据和模型的安全，防止未经授权的访问。（2）差分隐私。差分隐私采用统计方法在数据或模型中引入随机噪声，以保护个体隐私。通过在数据处理过程中引入适度的扰动，可以有效防止成员推断攻击和对抗样本攻击。（3）对抗训练。对抗训练通过引入对抗样本，使模型具有更强的鲁棒性。对抗生成网络、对抗优化算法等技术可以使大模型更难以被攻击，提高模型的可靠性。（4）联邦学习。联邦学习采用分布式方法，在多个节点上进行模型训练，从而避免了数据的集中存储。这有助于提升数据的隐私性和完整性，减少了数据泄露和模型提取的风险。（1）数据治理。数据治理通过制定标准、规范、流程、制度等手段，对数据的收集、存储、处理、共享、使用等过程进行有效管理和控制，以确保数据符合质量、安全、合法、合规等要求。（2）伦理委员会。建立由专家、学者、律师等成员的伦理委员会，负责评估和监督数据和模型的使用是否符合伦理、道德、人权等原则，以保护数据和模型的安全。（3）法律和监管合规。遵守和执行数据保护法、隐私法及其他相关法律法规，确保所有数据和模型应用活动符合法律要求。同时，参与制定行业标准和最佳实践，引导AI在金融领域的健康发展。这些技术对策和组织对策的综合应用可以有效提高大模型在金融领域的安全性，降低潜在的风险，保护相关利益方的权益。为了规范大模型的开发和使用，确保金融系统的安全和合规性，同时建议相关部门对其进行数据监管和模型监管。（1）数据质量监管。标准化数据质量标准：制定和执行标准化的数据质量标准，确保金融数据的准确性、完整性、一致性、时效性。定期数据审核：进行定期的数据审核，识别和纠正潜在的数据质量问题，确保数据符合要求。（2）数据隐私监管。强化隐私保护：制定和执行严格的隐私政策，包括授权机制、数据加密、脱敏技术等，确保用户数据的合法和隐私安全。透明数据使用：向用户明确说明数据收集和使用目的，获取明确的同意，遵循数据隐私的最佳实践。（3）数据所有权监管。明确数据所有权：制定明确的数据所有权协议，确保数据提供者对其数据享有适当的权利和义务。法律合规：遵循相关法律法规，规范数据的合法获取、使用和共享，降低数据所有权引起的法律风险。（1）模型质量监管。建立模型标准：制定标准的模型设计、训练、测试、部署、更新规范，确保模型具备高质量的性能和稳定性。定期评估：定期对模型进行评估和测试，及时发现和修复潜在的问题，确保模型的质量。（2）模型透明监管。文档化模型过程：提供清晰的文档、注释、报告，详细描述模型的设计思路、数据处理过程和预测解释，以提高模型的透明度。可视化解释：采用可视化手段，使非技术人员也能理解模型的工作原理和结果。（3）模型责任监管。建立问责机制：制定模型责任协议，明确模型开发者和使用者的责任和义务。定期审查：进行定期的审查和监督，确保模型的使用符合规范和标准，有责任心地应对模型可能引发的问题。综上所述，在金融领域，数据监管和模型监管是确保大模型安全合规的关键。通过标准化、透明化和问责化的监管措施，可以降低潜在的风险，维护金融系统的稳定和安全。监管机构、金融机构和技术团队应共同努力，建立起完善的监管框架，促进大模型在金融领域的健康发展。本文深入探讨了金融领域大模型的安全挑战，涵盖攻击手段、技术与组织对策，以及监管建议。分析了提示注入攻击揭示的安全威胁，讨论了采用加密、差分隐私、对抗训练及联邦学习的技术对策。组织对策包括数据治理、设立伦理委员会和加强法规。本文提出了关于数据和模型监管的全面建议，强调数据质量、隐私保护、所有权明确以及模型的质量、透明度和责任。未来研究旨在促进计算机科学、金融学、法学和伦理学等领域的跨领域合作，以完善金融科技的伦理治理体系。进一步研究将集中于社会影响评估和自适应防御系统的开发，帮助行业应对模型带来的社会和安全挑战，确保金融科技的健康发展。（来源：金融电子化）
分享网络安全知识 强化网络安全意识
欢迎关注《中国信息安全》杂志官方抖音号
文章来源: https://mp.weixin.qq.com/s?__biz=MzA5MzE5MDAzOA==&mid=2664217022&idx=5&sn=f0b89d902af3139f286cd57feedea281&chksm=8b59bb47bc2e32519e20c2d9b6e749ea0c182123c7affa2fb3aa1dd76093d2c3afc7167abdd0&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh