封闭性场景：人工智能的产业化路径.docx

封闭性场景人工智能的产业化路径 目前，社会上对于人工智能技术的讨论可谓众说纷纭，莫衷一是有观点认为，人工智能技术已经或即将全面超越人类的能力水平，已经可以无条件应用，因而也会产生严重的伦理危机;也有观点认为，现有人工智能技术只是“人工弱智”，“有多少人工就有多少智能”，因而无法应用，也就根本不存在伦理风险但如果依据前一种看法从现在开始就限制人工智能的发展，或者基于后一种看法完全放弃对人工智能伦理风险的监管，都是不明智的本文立足于对70年来人工智能的技术成果进行总结梳理，根据对现有人工智能成果的技术本质的理解，提出人工智能封闭性和强封闭性准则，形成观察人工智能的一种新视角，进而得出以下观察：第一，在满足强封闭性准则的场景中，现有人工智能技术可以大规模应用，而在不满足该准则的场景中难以获得成功应用;第二，受强封闭性准则的制约，短期内不存在人工智能技术失控的风险，而未来长期风险也是可控的;第三，在强封闭性准则的有效范围内，人工智能的主要风险来自技术误用和管理失误，脱离人工智能技术本质的政策，将难以避免“一管就死、一放就乱”的监管困境人工智能应用与治理的迫切需求人工智能迄今已有约70年历史，出现了三次浪潮，每次浪潮经历大约20年。

也有人将以往的人工智能技术归结为两代，每代的发展经历了30～40年由于本轮产业升级的窗口期只有10～15年，而一代新技术从诞生到成熟往往需要几十年，所以本轮产业升级依靠的人工智能技术，将主要是现有人工智能技术的工程化落地，而不是等待下一代新技术的成熟于是，下列问题尖锐地呈现在全社会面前：10～15年内，现有人工智能技术能否以及如何在我国产业升级中发挥关键作用？如果我们不能从现有人工智能技术的本质出发回答这个问题，人工智能国家战略必将落空，与此有关的产业升级也必将受到极大影响与此同时，伴随着人工智能通过所谓的“自我学习”在围棋中战胜了人类的最优秀选手，中国社会对于人工智能技术风险的忧虑也越来越强有一种观点认为人工智能将超越人类的智力，在未来20～30年内将彻底摆脱人类控制，实现自我发展，人类将变成人工智能的奴隶或宠物大部分发达国家，人工智能的前三次浪潮均引起普遍关注，因而社会各界对人工智能的了解是长期的，也较容易形成较为客观的看法但在我国，由于社会上普遍关心的只有人工智能的第三次浪潮，而且在短短几年之内这种关注又被放大，故而普遍存在着对人工智能技术真相了解不够，甚至误将国外影视作品当作现实的现象。

而我国人工智能领域的专家学者，又极少介入社会上的讨论，极少参与伦理风险研究和政策制定因而，如果相关政策建议不能如实反映人工智能技术本质、应用条件和发展态势，必将隐含着管理失误的巨大风险人工智能三次浪潮的技术进展人工智能研究已形成了至少几千种不同的技术路线，其中最成功、影响最大的有两种，被称为人工智能的两种经典思维：“基于模型的暴力法” 与“基于元模型的训练法” [1]这两种思维虽然不能代表人工智能的全部，但它们已经不是停留在单个技术的层面，而是上升到“机器思维”的高度，因而它们在近期应用中发挥关键作用，最值得关注第一种人工智能经典思维是“基于模型的暴力法”，其基本设计原理是：第一，构建问题的一个精确模型;第二，建立一个表达该模型的知识表示或状态空间，使得推理或搜索在计算上是可行的;第三，在上述知识表示或状态空间中，用推理法或搜索法穷举所有选项，找出问题的一个解因此，暴力法包含推理法和搜索法两种主要实现方法，它们具有共同的基本前提：待解问题存在良定义的、精确的符号模型暴力法” 与“训练法”已经从技术层面上升到了“机器思维”的高度推理法中，通常采用逻辑形式化、概率形式化或决策论形式化作为知识表达的手段。

以邏辑形式化为例，一个AI推理系统由一个知识库和一个推理机组成，推理机是一个执行推理的计算机程序，往往由专业团队长期研发而成，而知识库则需要由不同应用的研发者自行开发推理机根据知识库里的知识进行推理，回答提问基于形式化逻辑系统的推理机的研制以对应逻辑的“保真性”为标准，因此推理机本身是“可证正确的”—只要推理机使用的知识库是“正确的”，则对知识库有效范围内的任何问题，推理机给出的回答都是正确的然而，一个知识库的“正确性”以及相对于一个应用领域的充分性，至今没有形成公认的、可操作的标准，只能通过测试进行实验检验第二种人工智能经典思维是“基于元模型的训练法”，其基本设计原理是：第一，建立问题的元模型;第二，参照元模型，收集训练数据并进行人工标注，选择一种合适的人工神经网络结构和一个监督学习算法;第三，依数据拟合原理，以带标注的数据，用上述监督学习算法训练上述人工神经网络的连接权重，使得网络输出总误差最小训练好的人工神经网络可以对任意输入快速计算出对应的输出，并达到一定的准确性例如，针对给定的图像库，一些经过训练的深层神经网络，可以对输入的图片进行分类，输出图片中物体的种类，分类准确性已超过人类。

然而，训练法目前没有可证正确性，甚至没有可解释性在训练法中，只有监督学习算法和带标注的数据是不够的，还必须对学习目标、评价准则、测试方法、测试工具等进行人工选择本文将这些人工选择汇集在一起，用“元模型”概括它们因此，训练法绝不是只要有训练数据和训练算法就行的，人工智能已具备独立于人类的“自我学习”能力的说法更是毫无根据的训练法和暴力法都存在“脆弱性”问题：如果输入不在知识库或训练好的人工神经网络的覆盖范围内，将产生错误的输出针对实际应用中无处不在的感知噪声，美国麻省理工学院做过一个测试先用一个著名的商业机器学习系统训练出一个深层神经网络，该网络可以从照片中识别各种枪支，并达到很高的正确识别率然后，人为修改了这些照片上的少量像素（代表感知噪声），这些修改对人眼识别没有任何影响，可是训练好的深层神经网络却不能正确识别修改后的照片，而且会发生离奇的错误自20世纪80年代以来，脆弱性已成为制约现有人工智能技术成功应用的主要瓶颈AlphaGo Zero 采用了四项人工智能技术，包括两项暴力法技术与两项训练法技术除了脆弱性之外，暴力法和训练法还存在其他短板工程上，训练法的主要短板是需要对大量原始数据进行人工标注，费时费力，且难以保证标注质量;暴力法的主要短板是需要人工编写知识库或制定搜索空间，而这两项工作对于绝大多数开发者而言是十分困难的。

因此，尝试将暴力法和训练法取长补短，以消除或减少它们各自的短板，一直是人工智能的一个研究课题AlphaGo Zero采用了四项人工智能技术，包括两项暴力法技术—简化的决策论模型和蒙特卡洛树搜索，用这两项技术进行自博（自己和自己下棋），自动产生训练数据和标注，而且不仅下了人类下过的很多棋，也下了人类没下过的很多棋;另外两项是训练法技术——残差网络和强化学习，强化学习算法用自博产生的全部训练数据及标注对残差网络进行训练，不断改进残差网络，最终训练出一个网络，其下棋水平远远超过了人类[2]这也表明，认为AlphaGo Zero仅仅是深度学习的胜利，是一个巨大的误解正是由于暴力法和训练法的结合，使得AlphaGo Zero完全不需要人工标注和人类围棋知识（除了规则）根据规则，围棋一共可以下出大约10 300局不同的棋AlphaGo Zero通过40天自博，下了2900万局棋（不到10 8），仅仅探索了所有围棋棋局中的一个极小部分，所以AlphaGo Zero的下棋水平还有巨大的提升空间这表明，在现有人工智能技术的有效工作范围内，人工智能系统的能力已经远远超过了人类，“多少人工多少智能”的说法是没有根据的，也是不符合事实的。

以上分析表明，社会上流行的两种极端说法都是不成立的那么，现有人工智能技术的真实能力到底如何？现有人工智能技术的能力边界—封闭性有人认为：围棋是最难的问题，既然AlphaGo在最难的问题上超过了人类，当然人工智能已全面超过了人类但事实上，对人工智能而言，围棋是最容易的一类问题，比围棋更难的问题不仅有，而且非常多，而在这些问题上，现有人工智能技术远远达不到人的能力水平因此，我们需要某种准则，以便客观地判断：哪些场景中的应用是现有人工智能技术能够解决的，哪些问题是不能解决的这个准则就是封闭性为了便于理解，这里给出封闭性的一种尽可能通俗的描述一个应用场景具有封闭性，如果下列两条件之一得到满足：（1）存在一个可计算的和语义完全的模型，并且所有提问在该模型的可解范围内;（2）存在有限确定的元模型，并且代表性數据集也是有限确定的封闭性条件（1）和条件（2）是分别针对暴力法和训练法而言的一个应用场景如果不满足条件（1）或条件（2）中的任何一个要求，则该场景应用就不能用暴力法或训练法解决例如，假设一个场景具有可计算的和语义完全的模型，但某些提问不在该模型的可解范围内，那么就不能保证智能系统对这些提问的回答都是正确的，这时就出现了脆弱性。

因此，封闭性给出了一个场景中的应用能够被暴力法或训练法解决的理论上的必要条件，也就是说，不满足这些条件的场景应用是不可能用现有人工智能技术实现的但是，实际场景往往是非常复杂的，理论上的必要条件与工程实际之间存在一定距离例如，用训练法进行图像分类时，不保证分类误识别率为零，而且错误的性质可能非常严重，无法满足用户的需求为了尽可能缩小理论与实际之间的距离，本文引入强封闭性准则如下一个场景具有强封闭性，如果下列条件全部得到满足：（1）该场景具有封闭性;（2）该场景具有失误非致命性，即应用于该场景的智能系统的失误不产生致命的后果;（3）基础条件成熟性，即封闭性包含的要求在该应用场景中都得到实际满足基础条件成熟性包含的内容较多，下面介绍两种重要的典型情况第一种情况是，满足要求的模型理论上存在，工程上构建不出封闭性准则中的条件（1）要求，存在一个可计算的和语义完全的模型，而这里所谓“存在”只要理论上成立就行但对于一项具体的工程项目来说，仅仅在理论上存在这样的模型是不够的，必须能够在该项目要求的施工期限内，实际地构建出一个这样的模型可是有些场景过于复杂，无法在项目期限内实际构建出它的模型于是，这样的场景虽然符合封闭性准则，却在项目实施中无法成功。

基础条件成熟性要求：在项目施工期限内可以实际构建出所需的模型，因而强封闭性准则反映了工程可行性第二种情况是，代表性数据集理论上存在，工程中得不到封闭性准则的条件（2）要求存在代表性数据集，但目前并没有得到实用化方法，保证找到一个复杂问题的代表性数据集，即使理论上可以证明存在这样的代表性数据集因此，目前主要在环境变化可忽略或可控的场景中运用训练法，因为代表性数据集在这种场景中是可以得到的这里的“环境变化可忽略或可控”就是强封闭性准则的一项具体要求，而封闭性准则不包含这项要求当一个应用场景出现以上两种情况时，怎么处理才能符合强封闭性准则？对于多数企业特别是中小企业来说，最有效的办法是进行场景裁剪，比如缩小场景规模、舍弃场景中难以建模的部分、舍弃场景中环境变化不可控或不可忽视的部分，使得裁剪后的场景符合强封闭性准则另外，人工智能技术在实际应用中往往起“画龙点睛”的作用，而不是单打独斗地解决一个行业的全部技术问题因此，通常是在其他条件都已具备，却仍然无法实现预期工程目标的情况下，引入人工智能技术以攻克难点，从而发挥关键性作用这也是基础条件成熟性的要求之一例如，传统制造业的信息化和自动化[3]、大面积高标准农田的实施[4]，分别为我国传统制造业和现代农业的智能化提供了重要的、决定性的基础条件。

现有人工智能技术在实体经济中的落地路径在实体经济特别是制造业中，大量场景的自然形态非常复杂，难以通过场景裁剪使之符合强封闭性准则针对这种情况，可以采取场景改造的办法目前至少有如下三条场景改造策略，可以作为现有人工智能技术在实体经济中的落地路径。