生成式人工智能(GenAI)正在为各行业带来深刻变革,以ChatGPT等生成式AI应用为例,其推出后用户数量迅速增长,充分说明了这项技术的吸引力。然而,在享受新技术带来的便利的同时,其快速发展同时也引发了诸多新的安全隐患,如何确保生成式人工智能在企业环境中的安全性成为当前的一大挑战。本文将深入分析生成式AI相关的安全挑战及其成因,并提供应对这些问题的有效防护策略。
一、GenAI 安全背景介绍
Gartner撰写的AI TRiSM框架(AI信任、风险和安全管理)中指出,在生成式AI的应用中,主要面临的安全问题可分为以下三类:
1.内容异常风险:
风险成因:生成式AI模型的训练数据复杂多样,可能包含大量的公开数据集,其中可能混杂偏见、敏感信息或错误信息。这使得模型有时会产生带有攻击性、误导性或法律风险的内容。例如,生成内容可能涉及偏见、非法信息或侵犯版权的内容。
应对措施:为了防止此类风险,企业可以通过构建自定义模型或严格筛选训练数据集来减少异常内容的生成。通过内容审查机制和关键词过滤技术,可以实时检测并阻止不符合企业标准的内容输出。此外,定期对模型输出进行测试和评估,以确保其输出内容符合企业安全标准。
2.数据保护问题:
风险成因:生成式AI应用在处理数据时,通常需要访问大量企业数据。若模型托管在第三方服务器或云端,则这些数据可能面临被外部窃取或误用的风险。此外,由于大多数AI模型的工作机制不够透明,企业难以评估其数据保护合规性。
应对措施:为了保护数据安全,企业可以采用加密存储和传输技术。利用数据加密技术对生成式AI输入和输出的数据进行保护,确保即便在第三方托管环境中数据也难以被直接读取。对于数据存储,可通过分层访问控制系统对敏感数据进行隔离存储,确保仅授权用户可以访问数据。此外,通过定期的隐私评估和模型审查,可以更好地保障企业的数据保护策略符合监管要求。
3.AI应用安全:
风险成因:生成式AI模型容易受到对抗性提示攻击等方式的影响,黑客通过恶意构建的输入诱导模型生成不良内容或访问企业系统。另外,部分生成式AI应用依赖矢量数据库,而这类数据库在应用环境中较为脆弱,存在被攻击的风险。
应对措施:企业可通过增加输入提示和输出检测的多层安全机制来减少对抗性攻击的风险。例如,建立一套对抗性样本识别系统,可在模型接收到不合理输入时自动检测并阻断。同时,采用防火墙等安全措施,加强矢量数据库的保护,避免外部恶意访问。
二、GenAI的自身安全
2023年,开放式 Web 应用程序安全项目 (OWASP)启动了一个新项目,撰写了一份重点关注大型语言模型 (LLM) 应用威胁的报告。《OWASP 大语言模型应用程序十大风险》确定了相关威胁,提供了漏洞和实际攻击场景的示例,并提供了缓解策略。OWASP 希望提高开发人员、设计师、架构师和管理人员的意识,同时帮助他们防御威胁。
根据OWASP最新发布的《OWASP 大语言模型应用程序十大风险》,大语言模型(LLM)和生成式AI应用程序面临的十大主要安全风险如下:
1.提示注入:攻击者可通过操控输入提示,使模型生成不安全或误导性输出。2.不安全的输出处理:输出未充分验证或清理,可能导致不安全内容或恶意行为。3.训练数据投毒:恶意数据进入训练集,从而影响模型行为。4.模型拒绝服务攻击:通过大量或恶意请求使模型资源耗尽或无法响应。5.供应链漏洞:LLM开发、训练过程中的第三方组件可能带来安全风险。6.敏感信息泄露:模型可能无意间泄露专有数据或敏感信息。7.不安全的插件设计:不安全的插件可能允许外部系统不当访问或操控模型。8.过度授权:模型被赋予过多权限,可能导致失控或误用。9.过度依赖:盲目信任模型输出会导致错误决策或信息误导。10.模型盗窃:未经授权访问导致模型的架构或数据被窃取。
为了确保生成式AI应用自身的安全性,企业应采用多层次的安全防护策略,以降低生成式AI模型在不同场景中的风险。企业需采取多层次的安全防护来降低生成式AI的风险,可以分别从模型安全、数据安全和应用安全三个角度来构建完整AI应用自身安全体系。
1.模型安全:模型安全聚焦于保护LLM本身免受攻击、篡改和意外行为,确保其正常、可靠、符合预期地运行。OWASP列出的LLM应用风险前十名为企业提供了具体的防护策略,例如:对输入和输出内容进行实时监控、启用身份验证机制、定期测试模型的安全性等措施。此外,企业可以采用独立的AI测试系统,对模型进行压力测试和漏洞检测,以防止模型在实际应用中被恶意利用。
2.数据安全:数据安全在GenAI中不仅是技术性的要求,更是符合道德规范和法律的必要举措。通过多层次的措施保障数据安全,生成式AI才能在开发和应用中满足隐私保护和信息安全的需求,有效应对潜在的风险。
3.应用安全:应用安全主要关注生成式AI在实际应用中的安全性,特别是针对生成式AI独特的攻击面,例如提示词注入攻击等。安全性需要涵盖输入、输出、接口等多个方面,以防止模型被恶意利用或操控,从而确保其在实际应用中的可靠性。企业应对生成式AI应用的运行过程进行全面监控,建立异常检测和响应机制,及时识别并阻止提示词攻击和其他对抗性攻击,保障系统的稳定和安全运行。
三、GenAI应用的访问安全
生成式AI在中国的应用率远高于全球平均水平。83%的中国受访者表示他们已采用了生成式人工智能。这一比例高于英国的70%,其次是美国的65%,也远远超过平均水平(54%)。2024年中国AIGC应用市场规模将达200亿。
随着生成式AI应用的快速发展和普及,企业需要开始考虑如何安全有效的使用生成式AI应用来帮助业务的发展。以下的安全防控措施有助于降低应用中的潜在安全隐患:
1.应用发现与可视化呈现:
目前企业缺乏针对对员工使用生成式AI应用情况的监控,导致无法有效识别潜在安全风险。
解决方案:GenAI应用访问安全类产品可以针对企业内GenAI应用的进行监控,给企业管理员提供GenAI应用使用的全局可视化呈现。通过GenAI访问安全看板,管理者可以详细了解员工使用的热门GenAI应用、应用场景、以及安全状态,并及时采取安全措施,降低风险。例如,可通过该看板识别高风险应用并设置相应的限制策略。
2.细颗粒度访问控制:
企业在实施GenAI应用访问控制时,若未针对具体用户、位置或设备采取分级限制,可能导致敏感信息在不受信任的设备或人员中流转。
解决方案:结合零信任安全理念,通过针对GenAI应用的细颗粒度的访问控制控制,企业可以根据不同用户的角色、应用程序的风险等级等因素,实施分层管理。具体措施包括限制不同用户组对GenAI应用的访问权限、对设备进行合规检查,确保仅在合法的业务场景下才能访问敏感内容。通过这些措施,企业可以减少未经授权的访问情况。
3.数据泄露防护(DLP):
目前企业在使用生成式AI过程中,部分企业可能缺乏敏感数据检测和保护机制,导致隐私信息泄露风险加大。
解决方案:DLP系统能够检测和阻止敏感数据的外泄,包括通过文件传输、文本提示和代码片段等形式。通过DLP系统的部署,企业可以实现双向的数据保护,确保生成式AI输出的数据符合企业安全标准。例如,可以通过DLP系统检测和阻止个人识别信息(PII)、源代码等敏感内容的外泄,从而保护企业的核心资产。
四、生成式AI未来的可信与可控发展
生成式AI的广泛应用推动了企业创新,但同时也带来了复杂的安全挑战。生成式AI的安全管理不仅依赖技术层面的支持,更需要综合管理框架和政策的配合。只有技术、管理与政策三者齐头并进,企业才能真正将生成式AI的潜力转化为安全可靠的生产力。
通过技术层面的多层防护、管理层面的精细控制以及政策层面的规范化指导,企业不仅能够有效降低生成式AI带来的风险,还能够为这项技术的持续发展营造一个健康且可持续的生态系统。这样的全面安全管理体系,在帮助企业在探索生成式AI潜力的同时,稳妥地应对其所带来的各种潜在威胁,从而实现创新与安全的平衡。
为了更好地应对这些安全风险,企业可以采取以下多层次的安全防护措施:
1.GenAI自身安全保障:生成式AI的安全管理从模型本身的安全开始,确保模型输入与输出的双向保护尤为重要。结合OWASP LLM Top 10安全实践,企业应重点防范模型的输入输出风险,例如防止提示注入(LLM04 - 提防提示注入)和滥用模型(LLM06 - 模型滥用防护)。通过精确控制输入数据的来源和质量,防止恶意输入对模型行为造成影响;同时,对生成内容进行严格审查,确保其符合企业的安全标准和道德规范,降低误用或滥用的可能性。
2.数据安全防护、隐私与合规性:企业在使用生成式AI时,必须处理大量的数据,其中可能包含敏感信息和个人隐私。通过分级存储、数据泄露防护、数据加密等措施,企业可以保护数据在存储、传输及处理过程中的安全性。此外,建立严格的访问权限控制机制,确保只有授权人员可以访问和操作这些数据,进一步提升隐私保护水平,确保符合监管合规要求。
3.建立生成式AI应用使用的实时监控:帮助企业随时掌握员工如何与AI应用交互。企业应加强对员工访问请求的管控,确保访问活动符合安全规范,避免未经授权的使用和潜在的滥用风险,并在日常操作中不断优化安全策略。
4.结合零信任安全理念的与自适应访问安全机制:在访问生成式AI应用中引入零信任安全架构,通过对每一个访问请求的身份验证、设备验证和安全评估,确保AI资源仅被授权用户在安全环境中使用。自适应访问管理机制可以根据风险评估结果实时调整访问权限,做到既不影响生产效率,又确保使用安全,从而实现安全与效率的平衡。
5.生成式AI安全的标准化与行业合作:推动生成式AI的规范化发展,这不仅能减少不同企业之间的安全风险差异,还能加快整个行业向着更规范、更安全的方向发展,共同应对不断变化的生成式AI安全威胁。
未来,生成式AI的发展需要在可信与可控之间找到良好的平衡。生成式AI不应仅仅被视作一个强大的工具,还应被打造成为一个透明、可解释、可靠的合作伙伴。为此,企业需要加大在AI安全方面的投入。生成式AI为企业的业务发展带来了巨大的潜力,但安全问题如影随形,只有在充分认识这些挑战的前提下采取合适的防护措施,企业才能在安全的前提下享受生成式AI带来的便利。
山石网科公司介绍:
山石网科是中国网络安全行业的技术创新领导厂商,由一批知名网络安全技术骨干于2007年创立,并以首批科创板上市公司的身份,在2019年9月登陆科创板(股票简称:山石网科,股票代码:688030)。
现阶段,山石网科掌握30项自主研发核心技术,申请540多项国内外专利。山石网科于2019年起,积极布局信创领域,致力于推动国内信息技术创新,并于2021年正式启动安全芯片战略。2023年进行自研ASIC安全芯片的技术研发,旨在通过自主创新,为用户提供更高效、更安全的网络安全保障。目前,山石网科已形成了具备“全息、量化、智能、协同”四大技术特点的涉及边界安全、云安全、数据安全、业务安全、内网安全、智能安全运营、安全服务、安全运维等八大类产品服务,50余个行业和场景的完整解决方案。
