AI框架发展白皮书（2022年）.doc

No.202201AI框架发展白皮书（2022年）中国信息通信研究院2022年2月 版权声明本白皮书版权属于中国信息通信研究院，并受法律保护转载、摘编或利用其它方式使用本白皮书文字或者观点的，应注明“来源：中国信息通信研究院”违反上述声明者，本院将追究其相关法律责任 前言AI助力当前经济社会步入智能经济时代世界正在进入以新一代信息技术驱动发展的重塑时期，人工智能（AI，Artificial Intelligence）作为其中重要的使能技术，对激活实体经济具有溢出带动性很强的“头雁效应”，对构筑国家科技影响力具有举足轻重的意义人工智能成为了全球各国新的科技热点，人工智能基础设施建设也成为重要抓手与着力点未来十年是全球发展数字经济、迈入智能经济社会的黄金发展期，着力发展人工智能基础设施，将为我国人工智能产业发展壮大、数字经济蓬勃发展提供强大牵引力AI框架是智能经济时代的操作系统作为人工智能开发环节中的基础工具，AI框架承担着 AI技术生态中操作系统的角色，是 AI学术创新与产业商业化的重要载体，助力人工智能由理论走入实践，快速进入了场景化应用时代，也是发展人工智能所必需的基础设施之一。

随着重要性的不断凸显，AI框架已经成为了人工智能产业创新的焦点之一，引起了学术界、产业界的重视在此背景下，白皮书致力于厘清 AI框架的概念内涵、演进历程、技术体系与作用意义，通过梳理总结当前 AI框架发展现状，研判 AI框架技术发展趋势，并对 AI框架发展提出展望与路径建议由于 AI框架仍处于快速发展阶段，我们对 AI框架的认识还有待持续深化，白皮书中存在的不足之处，欢迎大家批评指正 目录一、 AI框架技术持续演进，已形成较为完整的体系 ............................................1(一) AI框架演进步入深化阶段 ........................................................................1(二) AI框架技术演化出三个层次 ....................................................................5(三) AI框架重要性愈加突显 ..........................................................................13二、全球 AI框架繁荣发展，多元化竞合态势渐显 .............................................14(一)供给主体方面，企校贡献最活跃 ..........................................................14(二)开源生态方面，全球进入活跃期 ..........................................................16(三)市场格局方面，双寡头持续引领 ..........................................................18(四)支撑应用方面，科研与产业齐驱 ..........................................................20(五)推广途径方面，三条路齐发并进 ..........................................................25三、应对未来多样化挑战，AI框架有六大技术趋势 ..........................................27(一)泛开发：AI框架将注重前端便捷性与后端高效性的统一.................27(二)全场景：AI框架将支持端边云全场景跨平台设备部署.....................28(三)超大规模：AI框架将着力强化对超大规模 AI的支持.......................29(四)科学计算：AI框架将进一步与科学计算深度融合交叉.....................31(五)安全可信：AI框架将助力提升 AI模型可解释性与鲁棒性...............32(六)工程化：AI框架将加速 AI应用产业规模级工程化落地...................34四、 AI框架生态远未成熟，未来发展空间可观 ..................................................36(一)从硬件适配向算子接口标准化演进 ......................................................36(二)强化开源社区打造与开源氛围营造 ......................................................36(三)重视与高校科研院所广泛开放合作 ......................................................37(四)推进融入 AI基础设施布局落地............................................................37(五)支持深度赋能大模型及科学计算 ..........................................................38 图目录图 1 AI框架技术演进................................................................................................2图 2 AI框架核心技术体系........................................................................................5表目录表 1 Github社区中主流 AI框架情况（2022.1）..................................................16表 2 Gitee社区中主流 AI框架情况（2022.1）....................................................18 AI框架发展白皮书（2022年）一、AI框架技术持续演进，已形成较为完整的体系AI框架是 AI算法模型设计、训练和验证的一套标准接口、特性库和工具包，集成了算法的封装、数据的调用以及计算资源的使用，同时面向开发者提供了开发界面和高效的执行平台，是现阶段AI算法开发的必备工具。

当前，人工智能基础性算法理论研究创新日益活跃，深度神经网络日趋成熟，各大厂商纷纷投入到深度神经网络算法的工程实现并发力建设算法模型工具，进一步将其封装为软件框架供开发者使用，这个过程中 AI框架（业界也称 AI开发框架、深度学习框架等）应运而生AI框架负责给开发者提供构建神经网络模型的数学操作，把复杂的数学表达转换成计算机可识别的计算图，自动对神经网络进行训练，得到一个神经网络模型用于解决机器学习中分类、回归的问题，实现目标分类、语音识别等应用场景一) AI框架演进步入深化阶段结合人工智能的发展历程和 AI框架的技术特性来看，AI框架的发展大致可以分为四个阶段，分别为萌芽阶段（2000年初期）、成长阶段（2012~2014年）、稳定阶段（2015年~2019年）、深化阶段（2020年以后）其发展脉络与人工智能，特别是神经网络技术的异峰突起有非常紧密的联系1 中国AI框架发展白皮书（2022年）来源：中国信息通信研究院图 1 AI框架技术演进萌芽阶段：受限于计算能力不足，这一阶段的神经网络技术影响力相对有限，因而出现了一些传统的机器学习工具来提供基本支持，也就是 AI框架的雏形，但这些工具或者不是专门为神经网络模型开发定制的，或者 API极其复杂对开发者并不友好，且这些工具并没有对 GPU算力进行支持。

这一阶段的 AI框架并不完善，开发者不得不进行大量基础的工作，例如手写反向传播、搭建网络结构、自行设计优化器等成长阶段：2012年，Alex Krizhevsky等人提出了一种深度神经网络架构，即著名的 AlexNet，在 ImageNet数据集上达到了最佳精度，并碾压第二名，引爆了深度神经网络的热潮自此极大地推动了 AI框架的发展，出现了 Caffe、Chainer和 Theano等具有代表性的早期 AI框架，帮助开发者方便地建立复杂的深度神经网络模型，如 CNN、RNN、LSTM等不仅如此，这些框架还支持多 GPU训2 AI框架发展白皮书（2022年）练，让开展更大、更深的模型训练成为可能在这一阶段，AI框架体系已经初步形成，声明式风格和命令式风格为之后的 AI框架趟出了两条不同的发展道路稳定阶段：2015年，何恺明等人提出的 ResNet，再次突破了图像分类的边界，在 ImageNet数据集上的准确率再创新高，也终于凝聚了产业界和学界的共识，那就是深度学习将成为下一个重大技术趋势在这一到两年里，Google开源了著名的 TensorFlow框架，它至今仍是机器学习领域最流行的 AI框架。

Caffe的发明者加入了Facebook（现更名为 Meta）并发布了 Caffe2；与此同时，FacebookAI研究团队也发布了另一个流行的框架 PyTorch，该框架拓展自Torch框架，但使用了更流行的 Python API微软研究院开发了CNTK框架Amazon采用了 MXNet，这是华盛顿大学、CMU和其他机构的联合学术项目国内的百度则率先布局了 PaddlePaddle飞桨深度学习框架并于 2016年发布TensorFlow和 CNTK借鉴了 Theano的声明式编程风格，而PyTorch则继承了 Torch的直观和开发者友好的命令式编程风格Francois Chollet几乎是独自开发了 Keras框架，该框架提供了神经网络和构建块的更直观的高级抽象同时各种 AI框架不断进行迭代，为框架提供各种面向高效友好开发的核心组件，例如几乎所有AI框架都支持的自动微分能力，TensorFlow提供了分布式版本的AI框架和支持 iOS系统的能力，PyTorch则在完全拥抱 Python的基3 中国AI框架发展白皮书（2022年）础上提供了一整套包括优化器、库函数、API工具等支持。

AI框架迎来了繁荣，而在不断发展的基础上，各种框架不断迭代，也被开发者自然选择经过激烈的竞争后，最终形成了两大阵营 ，TensorFlow和PyTorch双头垄断2019年，Chainer团队将他们的开发工作转移到PyTorch；Microsoft停止了 CNTK框架的积极开发，部分团队成员转而支持 PyTorch；Keras被 TensorFl。