1、人工智能风险治理报告构建面向产业的人工智能安全治理实践方案（2024 年）2024年12月目录一、概述1（一）人工智能风险挑战引发全球关注1（二）人工智能风险治理模式亟需创新3（三）推动面向产业界的人工智能风险治理落地框架迫在眉睫4二、人工智能风险认知渐进深化6（一）人工智能内生安全与衍生安全复杂交织6（二）人工智能风险认知迈向多维度深化融9三、人工智能风险治理全球实践12（一）国际层面：加速推进风险治理行动及作12（二）主要经济体：迭代完善风险划分与管控举措14（三）产业组织：协同推进治理框架和安全工具17（四）企业主体：深化技管融的风险应对方案18四、面向产业的人工智能风险治理实践方案19（一）打造全链条人工智能风险治理框架19（二）提升人工智能风险系统治理能力21（三）设立人工智能风险精准识别机制23（四）健全人工智能风险科学评估体系25（五）完善人工智能风险敏捷应对方案27五、展望建议29（一）促进全球作，共筑人工智能治理新格局29（二）优化治理体系，夯实人工智能安全发展基础30（三）发挥桥梁作用，推进行业治理标准化与动态化30（四）强化内外协同，助力技术创新与责任共担31图
2、1 人工智能风险治理框架5图 2 人工智能内生安全和衍生安全7图 3 人工智能风险认知趋势9图 4 面向产业的人工智能风险治理实践方案20人工智能风险治理报告（2024 年）一、概述（一）人工智能风险挑战引发全球关注人工智能是引领这一轮科技革命和产业变革的战略性技术，具有溢出带动性很强的“头雁”效应。当前，人工智能牵引工业、医疗、教育、交通、金融、文化等各领域提质增效，成为社会经济高质量 发展的重要支撑和前进动能。然而，人工智能技术在重塑全球经济与社会格局的同时，也带来了多元风险挑战。根据美国斯坦福大学2024 年人工智能指数报告统计，2023 年全球共发生 123 起与人工智能滥用相关的重大事件，比 2013 年增长了近 20倍，并呈现持续增长态势 1。与此同时，人工智能风险的波及范围和影响程度也显著加大。国际货币基金组织生成式人工智能：人工智能与未来就业报告指出，全球 40%的工作将受到人工智能的影响 2；奇安信2024 人工智能安全报告显示，2023 年基于人工智能的深度伪造欺诈暴增 3000%，钓鱼邮件增长 1000%3。人工智能技术释放红利与应用风险显露并存，全球领域人工智能
3、治理进程持续加速。国际组织和主要经济体在人工智能治理方面主动作为，联国通过联国大会将共识理念凝聚为决议文件，并通过组 建人工智能高级别咨询机构以讨论形成全球作的具体行动方案；经济作与发展组织（OECD）研究、评查全球国家如何落实人工智能原则；金砖国家正推动成立人工智能研究小组以促进作和负责任的31治理；人工智能安全峰会为人工智能安全治理提供全球对话平台。此外，政府驱动的人工智能风险治理逐渐完备。根据加拿大咨询公司 FairlyAI 追踪结果显示，截至 2024 年 12 月，全球人工智能相关政策法规已达 317 份 4；产业驱动的人工智能标准化行动更加密集，全球陆续出台 355 项人工智能标准 5，目前尚有更多标准处于规划和制定过程之中。我国在人工智能治理中侧重风险研判与防范，并积极为国际社会贡献“中国方案”。总体上，中国为全球人工智能治理积极贡献力量。从习近平总书记在“一带一路”高峰论坛提出全球人工智能治理倡议，到中国在联国大会上主提的人工智能能力建设普惠计划， 包含主权平等、发展导向、以人为本、普惠包容、协同作等深刻内涵的人工智能治理原则不断传播，为国际社会提供了统一、先进、普适的
4、作框架与实践指引。举措上，中国加快完善人工智能治理体系， 2024 年 7 月，党的二十届三中全会中共中央关于进一步全面深化改革 推进中国式现代化的决定中提出建立“人工智能安全监管制度”，体现出我国统筹发展与安全，体系化应对人工智能安全风险的谋划。我国已经通过生成式人工智能服务管理暂行办法国家人工智能产业综标准化体系建设指南（2024 版）等部门规章与标准规划，保障人工智能技术的健康有序发展。（二）人工智能风险治理模式亟需创新随着人工智能技术的飞速进步，技术风险不确定性增大。自 2022年 ChatGPT 发布以来，大模型能力愈发突出，人工智能领域迎来了前所未有的投资热潮。然而，随着技术应用复杂度的增加，风险持续显露，亟需采取有效措施应对日益迫切的风险治理问题。在技术快速演变、产品跨境应用、链条主体复杂的背景下，产业界在人工智能风险治理中需要发挥更重要的作用。一是技术快速演变，产业界提供灵活有效的自律工具能够及时回应现实问题。法律法规的制定因其严谨性，通常需要较长的流程与时间，往往滞后于技术创新。人工智能技术专业性强、演变速度快、原理愈发复杂，而社会对治理措施能够及时回应的需求也日益增
5、长，这进一步加剧了法律稳定性与监管灵活性之间的紧张关系。例如前两年语言大模型、多模态模型取得显著进展，而如今智能体和具身智能等领域的创新突破层出不穷，安全治理的步伐愈发难以跟上技术发展的速度。相较于传统的政府监管，产业界行业规范、标准指南、技术工具更有能力以应对技术发展迅速、风险不断变化的局面，与政府监管形成良性互动。二是产品跨境应用，产业界在国际治理合作方面需要承担更重要角色。在互联网和跨国企业的推动下，人工智能技术在全球范围内广泛应用，许多风险的跨境性质日益凸显。传统监管模式依赖国家主权进行，易受国界限制，无法有效应对风险的跨境挑战。例如，开源人工智能模型的广泛应用和全球流通性，使得任何安全漏洞、偏见或不当使用都可能迅速传播，影响多个国家和地区。对于各国政府而言，尽管制定针对开源模型的监管并不困难，但也正是鉴于其全球流通特性，确保监管措施的有效实施却面临巨大挑战。在此背景下，产业组织通过促进跨国作，例如与其他国家的相关组织开展联测试、提升工具的互操作性、参与“一轨半、二轨对话”等，推动全球范围内的有效治理。三是链条主体复杂，产业界充分协调人工智能治理多利益相关方。人工智能训练数据、
6、算法模型、系统应用及基础设施等环节涉及多个 主体多个维度复杂互动，产业链的延展使得治理结构变得更加复杂，进一步加剧了传统监管模式的挑战。2023 年布鲁金斯学会报告指出，未参加生成式人工智能原始模型开发的“下游开发者”可能会将原始模型调整后再整到其他软件系统，由于双方均无法全面了解整个系 统，或将增加这些软件错误和失控风险 6。人工智能技术应用涉及数据、模型、软硬件基础设施、应用服务等产业链上下游多利益攸关方，有效的治理措施需要充分协调各方，促进不同主体之间的信息流动与共享，整各方资源推动解决方案的落地和实施，在共识框架下形成灵活应对地响应模式。（三）推动面向产业界的人工智能风险治理落地框架迫在眉睫本报告广泛汲取国际行动、各经济体努力、产业实践等各方经验，形成人工智能风险治理框架（见图 1）。人工智能的迅速发展与广泛应用所带来的风险，呈现出日益复杂且多维交织的特点。这些风险不仅涉及技术层面的固有问题，还涵盖了应用层面的衍生性挑战。在多元共治的推进下，尽管各国政府在国际和国内层面推出的治理框架或法律规范已取得一定进展，但面对人工智能技术飞速演进和前瞻性风险，仍然存在诸多治理空白与亟待解决
7、的问题。企业作为人工智能风险治理的核心主体，处于治理的前沿，掌握着实施有效治理所需的关键资源，迫切需要一套切实可行的治理方案，以识别、评估并有效应对日益复杂的风险。来源：中国信息通信研究院图 1 人工智能风险治理框架在此背景下，推动面向产业界的人工智能风险治理框架落地已成为迫在眉睫的任务。本报告以安全性、透明性、公平性和可问责性等核心原则为指导，提出了一个集穿透式风险管控与全链条流程管理的落地框架，旨在提升企业人工智能风险治理能力，涵盖从风险识别、评估到有效应对的全过程。框架强调通过制度完善、文化建设和外部协作来提升系统治理能力，同时聚焦技术、应用和管理三个层面的风险识别、评估与应对，构建全链条的治理体系。在风险识别环节，框 架从自身技术层和衍生应用层两维度着手，通过动态监测和多方协作，及时发现数据质量、算法模型、软件安全以及衍生风险等问题。在风险评估环节，通过对风险进行评估量化与优先级划分，帮助理配置资源。并根据技术迭代和社会变化，动态调整评估结果。在风险应对环节，为不同优先级的风险制定定制化方案，并动态优化治理措施。此外，框架明确技术和应用提供方在研发、部署和应用各环节的责任，强调
8、多利益攸关方的作与信息共享，以提升行业整体风险治理能力。二、人工智能风险认知渐进深化（一）人工智能内生安全与衍生安全复杂交织人工智能在引领科技创新、赋能千行百业的同时，也伴随着多层次安全问题。一方面，人工智能系统自身存在鲁棒性不足以及不可解释性等疑难；另一方面，在人机交互过程中，人工智能内生风险进一步延伸，可能对个人组织、国家社会、全人类带来诸如隐私泄露、就业替代、不可持续发展等衍生安全问题（见图 2）。安全问题的客观存在成为人工智能风险的诱因。系统运行中可能存在的失控或错误决策的内生安全问题，引发操作性风险。隐私侵害和歧视偏见等衍生安全问题，则随着人工智能应用的扩展，可能引发危害性更大的风险挑战。来源：中国信息通信研究院图 2 人工智能内生安全和衍生安全人工智能内生安全主要集中在技术层面，包括数据、算法模型、软件和基础设施等。数据方面，一是有毒的训练数据和不规范的标注可能导致有害输出。训练数据来自现实世界，难免包含有害内容或被 “投毒”，数据标注不规范也会降低数据质量，诱发输出错误、生成违法内容以及引发偏见等风险。二是未经清洗处理的训练数据可能导致敏感信息泄露。训练数据可能包含未授权
9、的敏感信息，如果数据未经适当保护、过滤或匿名化处理，可能导致敏感信息泄露。2024 年 11月，X 公司在其隐私政策中声明用户信息会向第三方作者共享，可能会被第三方用于训练包括生成式人工智能在内的人工智能模型 7。算法模型方面，一是算法存在不可解释性问题。深度学习算法通常包含数以万亿计的参数，使得即便是技术专家也难以清楚解释其推导过程。当人工智能造成损害时，不可解释性使得责任难以明确，影响可问责性的有效实施。二是模型存在被攻击风险。通过提示注入、输入扰动等对抗性攻击方法，模型可能被诱导生成错误或有害结果。同时，模型核心结构、权重参数和偏差等关键信息可能被窃取、复制或篡改，导致知识产权和商业秘密泄露，破坏市场公平竞争秩序，损害科研动力。此外，与模型训练紧密相关的算力、网络、软硬件方面存在被后门攻击等风险。2024 年 10 月，包括 ChuanhuChatGPT、Lunary、LocalAI和 DJL 在内的多个开源模型被曝存在安全漏洞，其中一些可能导致远程代码执行或信息盗窃 8。人工智能衍生安全重点体现在应用层面，涉及个人隐私、组织财产、社会公平和国家安全等领域，并可能对全人类产生深远影响。个人组织层面，一是不当使用可能加剧信息泄露风险。随着人工智能的广泛应用，个人和组织需要提供大量数据，不当输入可能危及数据安全，导致个人隐私和商业秘密泄露。二是可能引发法律风险，如侵犯知识产权，或被用于犯罪、制造虚假信息等，同时也存在诱发伦理风险的可能性。2024 年 2 月，香港发生一起利用人工智能深度伪造技术的诈骗案，涉案金额达 2 亿港元 9。国家社会层面，一是可能对社会舆论和政治安全带来挑战。通过生成虚假信息和有害言论，人工智能可能扰乱社交媒体秩序、破坏公众信任、
《2024人工智能安全治理实践方案》由会员职**分享，可在线阅读，更多相关《2024人工智能安全治理实践方案》请在金锄头文库上搜索。
