EN
EN
报告编译 | 金融服务信息共享和分析中心(FS-ISAC)发布《绘制人工智能风险的路线图:金融服务领导者的实用考虑因素》报告
2025年07月01日


编者按:2025年3月,金融服务信息共享和分析中心(Financial Services Information Sharing and Analysis Center,FS-ISAC)人工智能风险工作组发布《绘制人工智能风险的路线图:金融服务领导者的实用考虑因素》报告(以下简称“《报告》”),通过将GenAI纳入金融服务全链条分析,为金融机构提供了生成式人工智能(GenAI)应用的系统性框架和风险管理指南。《报告》预测了AI实施中的潜在问题与不确定性,剖析了金融领域AI应用的核心挑战,评估了GenAI在真实场景下的短中长期影响等。通过设计问题清单,为金融机构精准识别和管理AI风险,实现技术创新与风险管控的动态平衡,促进金融行业智能化转型提供了战略指引和发展建议。现摘编文章主要内容供参考。


图片



01

引言

人工智能技术的快速发展正在深刻改变金融行业的运作模式,生成式人工智能(GenAI)更是为金融服务领域带来了颠覆性机遇。人工智能涵盖范围广,从技术决定论到科幻小说,包括机器学习、深度学习、自然语言处理、机器人技术等。对金融服务行业而言,大型语言模型(LLMs)因其在知识管理方面潜力巨大,可推动金融转型而备受关注。这些大型语言模型(LLMs)在诸多领域展现出显著能力,在金融服务领域也有广泛应用,如汇总公开招股说明书材料、客户支持以及为商业应用提供成本效益高且快速的编码。然而,这一技术的快速迭代也伴随着多重不确定性:从专业人才短缺导致的运营风险,到模型幻觉引发的决策偏差;从全球碎片化监管的合规压力,到数据同质化带来的模型崩溃隐患,行业亟需一套系统性框架来平衡创新价值与潜在风险。《报告》结合实用保护措施和风险概念,旨在帮助金融机构在最大化人工智能商业价值的同时,最小化其负面影响。


02

GenAl 的不确定性和潜在挑战

生成式人工智能(GenAI)在金融服务领域的应用伴随多重系统性挑战。首先,人才短缺是一个突出风险。即使公司内部部署的 LLM 带来的风险较小,但缺乏熟练的人工智能技术人员会使公司面临运营风险,包括配置错误、缺乏维护、支持不足等。同时,随着金融服务公司采用更多人工智能驱动的工具,网络安全从业人员需要了解这些工具的风险和威胁。此外,随着使用案例的增加,公司在专有部署中有效利用 GenAI 的能力变得至关重要,这需要公司开展人工智能培训,培养员工将人工智能模型从开发环境转移到生产环境所需的能力。

其次,创造性破坏是金融机构在实施人工智能时面临的另一个挑战。创新往往意味着对传统技术的颠覆,新的、更高效、更有效、更强大的技术形式无法与前几代技术系统在功能上共存。金融机构必须明确自动化边界,必须了解在使用人工智能时哪些任务可以自动化,哪些不可以自动化,充分考虑任务自动化对员工队伍的影响,避免业务中断,实现平稳过渡。此外,容错难题也不容忽视。GenAI 与人类工作者在任务自动化中的重叠可能导致机器幻觉和人类错误。金融机构需要考虑不同类型错误的容忍程度,综合考虑多种因素,做好风险控制。

过度信赖 GenAI 也可能带来严重后果。员工可能在不知情的情况下依赖缺乏完整性的信息,盲目接受人工智能的输出,简化流程,导致审查不足,从而根据错误信息采取行动。此外,在危机或事故情况下,网络团队可能因过度依赖 GenAI 而陷入困境。如果系统停止运行且缺乏替代结构,应对措施将受阻。因此,在开发和实施人工智能的同时,需加强员工技能培养,要求员工必须学会验证 GenAI 输出的准确性,确保决策的可靠性。同时确保员工在人工智能失效时仍能实现业务目标。

监管环境的复杂性为金融机构带来了额外的挑战。目前,地区、国家和国际层面的人工智能法规不断涌现,尽管传统上制定法规是为了刺激创新,但目前提出的人工智能法规则可能限制人工智能的创新和采用。金融机构需要在创新与合规之间找到平衡,密切关注法规动态,确保合规运营。随着人工智能技术的广泛应用,版权保护问题日益突出。组织需要提前考虑诸如人工智能模型产生的结果是否包含部分版权材料或与版权材料相似等问题以避免法律纠纷。同时金融机构需警惕“知识产权(IP)洗钱”风险,确保数据来源和供应链的合法性。

能源需求与可持续性矛盾同样不容忽视。能源需求与成本是 GenAI 应用中的一个实际挑战。人工智能技术对能源的需求巨大且不断增长,这可能导致能源供应不足。金融机构需关注能源基础设施投资,以满足未来需求。同时,高成本的能源供应可能成为制约因素,需提前规划。最后,环境影响也是一个重要因素。GenAI 的使用量增加可能导致二氧化碳排放量显著上升。金融机构应积极投资高效技术,探索数据中心的替代能源解决方案,以减少环境足迹。

综上所述,通过培养专业人才、加强员工培训、建立容错机制、关注监管动态、重视版权保护、优化能源管理等措施,金融机构可以最大限度地发挥 GenAI 的潜力,实现可持续发展。


03

AI项目应用的五阶段分析框架

金融领域人工智能(AI)的应用前景充满不确定性,且预测跨度越长,实施效果与价值的评估难度越大,且这种不确定性将动摇金融机构对AI落地的信心。《报告》梳理了金融机构应用人工智能从初始评估到长期可持续发展的五阶段分析框架,以帮助金融机构更清晰地识别和应对潜在的问题,制定相应的策略以应对挑战。

第1阶段:量化已知由AI带来的业务价值与实施成本,梳理现有业务流程、技术资源和人力配置,为预算制定与方案选择提供依据。

第2阶段:基于第1阶段的评估结果,结合AI价值认知与业务需求,筛选高潜力场景(如自动化流程优化)并人工智能具体应用项目的确定优先级。

第3阶段:面临不确定性增加、暴露技术盲点等实施问题,例如对AI相关的数据安全风险(保密性、完整性、可用性)缺乏识别能力,行业整体仍处风险探索期。

第4阶段:可能出现AI应用效果未达预期、技术风险较高且可行性不足等情况,如果再叠加人才短缺(如AI工程师匮乏)、技术工具适配性不足等问题,将导致业务扩展风险激增。

第5阶段:随着AI与量子计算等突破性技术融合,可能会彻底颠覆现有治理与运营模式,企业可持续性与标准化流程面临未知挑战,AI技术应用的不确定性达到顶点。


04

短中和长期应用AI应考虑的因素

短期应聚焦劳动力增强与GenAI部署。《报告》指出,短期内金融机构劳动力结构预计保持稳定,需优先探索GenAI的辅助应用(如自动化流程),重点提升效率而非替代人力。在网络安全方面,借助GenAI强化威胁监控、检测与防御能力,缓解人力短缺对安全运营的影响。在效益评估方面,明确GenAI部署的经济价值(如成本节约比例),制定分阶段实施计划以平衡多方利益。这一阶段的挑战主要体现为行业缺乏统一的风险管控框架,叠加金融机构固有的风险规避倾向,可能延缓GenAI落地进程,以及利益相关者需求分歧(如技术部门与业务部门目标差异)将增加部署决策复杂度。

中期应重视平衡创新与风险管控。随着GenAI技术的逐步成熟,部分重复性高、规律性强的工作岗位可能会被AI部分替代,但同时也将催生新的就业机会。金融机构需要提前规划劳动力转型路径,通过再培训和教育计划帮助员工适应新的工作角色,同时优化人力资源配置以应对潜在的岗位变化。在数据管理方面,需要重点关注数据的多样性和质量。随着GenAI在更多业务场景中的应用,数据将成为核心资产,数据的准确性和完整性将直接影响AI模型的性能和决策质量。金融机构应建立严格的数据治理框架,确保数据来源的合法性、数据使用的合规性以及数据质量的持续提升。同时,如何避免数据同质化、防止模型陷入“自我强化”的循环,将成为数据管理的关键挑战。网络安全领域,中期的风险将更加复杂。GenAI的广泛应用将引入新的攻击面,例如通过生成虚假信息或恶意代码来干扰金融机构的正常运营。金融机构需要加强网络安全防护能力,利用GenAI技术提升威胁检测的准确性和响应速度,同时建立应急响应机制,以应对可能出现的新型网络攻击。此外,随着GenAI与金融机构现有系统的深度融合,系统的复杂性将显著增加,这也可能导致安全漏洞的增加,金融机构需要在系统设计和运维过程中充分考虑安全性和可维护性。

长期来看,金融机构需要为AI的深度整合和潜在变革做好准备。AI技术的快速发展可能导致行业的竞争格局发生变化,金融机构需要不断探索创新的商业模式和服务,以保持竞争优势。例如,通过AI实现个性化金融服务、智能投资组合管理等,提升客户体验和满意度。同时,金融机构需要关注AI技术的可持续性,包括能源消耗、环境影响以及技术的伦理和社会责任等方面。随着AI技术的普及,社会对AI的期望和要求也将不断提高,金融机构需要在追求技术进步的同时,确保其应用符合社会价值观和道德标准。在长期战略规划中,还需要考虑AI技术的潜在风险,如模型的不可解释性、算法偏见以及对社会就业结构的深远影响。金融机构应建立完善的AI伦理审查机制,确保其AI应用不会对社会造成负面影响。此外,随着AI技术的不断发展,金融机构需要持续投入资源进行技术研发和人才培养,以应对未来可能出现的技术变革和市场变化。

综上,为助力金融机构构建GenAI战略能力,决策层需聚焦以下关键问题:(1)设立专项治理角色,明确“人工智能倡导者”(如AI指导委员会)的监管职责,系统追踪AI项目全生命周期,确保技术部署与组织风险偏好及战略目标动态匹配。(2)构建影子AI防控体系,建立跨部门监测机制,重点排查未经审批的AI部署(类比影子IT治理),特别关注业务部门自主实施的创收型AI应用,通过技术审计与流程管控预防法律漏洞。(3)完善风险管理矩阵,将AI风险纳入企业ERM框架,覆盖能源消耗、合规认证、伦理审查等新型风险维度。(4)实施数据治理双轨制,训练数据多样性审查 + 生成内容版权溯源(重点核查GenAI训练集的著作权合规性)。(5)构建人机协作安全协议,制定AI交互操作规范,开展场景化培训降低误操作风险。


注:“影子AI”(Shadow AI)是指员工在未经企业IT部门或安全团队正式批准的情况下,私自使用或开发人工智能工具、模型或系统的行为。这种现象是传统“影子IT”(未经授权的IT工具使用)的延伸,但由于AI技术对数据和决策的高度依赖性,其潜在风险更为复杂和严重。


报告原文链接:

https://www.fsisac.com/hubfs/Knowledge/AI/ChartingTheCourseOfAI.pdf

END