人工智能及其应用 教学课件 ppt 作者 孔月萍 周继 chapter5_071103
人工智能及其应用,1,第五章 知 识 学 习,内容提要： 知识学习概念、原理及分类 神经网络学习 神经网络模型 知识发现与Agent技术,人工智能及其应用,2,知识学习概述 知识学习原理 知识学习策略,5.1 知识学习概念、原理及分类,人工智能及其应用,3,知识学习概述,学习的定义: 有明确目的的知识获取过程 内在行为 外在表现 知识学习的形式: 机器学习,人工智能及其应用,4,知识学习概述,研究知识学习的目标： 构建人类学习过程的认知模型 设计通用学习算法 构造面向任务的专用学习系统 不同阶段的研究内容: 神经元模型和决策理论 符号概念获取 知识增强和论域专用学习 连接学习,人工智能及其应用,5,知识学习系统模型：,知识学习原理,人工智能及其应用,6,基本学习策略: 机械学习：又称记忆学习，外界输入知识的表示方式与系统内部表示方式完全一致，不需要任何推理过程。 传授学习：又称指导式学习，外界输入知识的表达方式与系统内部表达方式不完全一致，需要一些推理、翻译和转化工作。 演绎学习：学习系统对给定的知识进行演绎保真推理，并存储有用的结论。演绎学习包括知识改造、知识编译、产生宏操作、保持等价的操作和其它保真变换。,知识学习策略,人工智能及其应用,7,基本学习策略: 归纳学习：是应用归纳推理进行学习的一类方法。按其有无教师指导，分为实例学习及观察与发现学习。 实例学习_它通过向学习者提供某一概念的一组正例和反例，使学习者从中归纳推理出概念的一般性描述，该描述应能解释所有给定的正例，并排除所有给定的反例。 观察与发现学习_它要产生对所有或大多数观察到的规律和规则的解释。这类学习包括概念聚类、构造分类、曲线拟合，发现并解释观察到的定律并形成理论。 类比学习：在遇到新问题时，可以学习以前类似问题的解决办法，来解决当前问题。要能够发现当前任务与已知任务的相似点，由此制定出完成当前任务的方案。因此，类比学习可由系统已有的领域知识得到另一领域中类似的知识。,知识学习策略,人工智能及其应用,8,5.2 神经网络学习,学习方式 学习算法 学习特点,人工智能及其应用,9,学习方式,监督学习 无监督学习 再励学习,人工智能及其应用,10,学习方式,监督学习:需要外界输入一个“教师”信号，它可对一组给定输入提供应有的输出，这组已知的输入输出数据称为训练样本集，神经网络可根据已知输出与实际输出之间的误差值来调节系统参数。,人工智能及其应用,11,学习方式,无监督学习:它不存在外部教师信号，网络系统完全按照环境提供数据的某些统计规律来调节自身参数或结构，以表示出外部输入的某种固有特性，如聚类或统计上的分布特征。,人工智能及其应用,12,学习方式,再励学习:这种学习介于上述两种情况之间，外部环境对系统输出只给出评价信息而不是正确答案。网络系统通过强化那些被肯定的动作来改善自身的性能。,人工智能及其应用,13,学习算法,误差纠正学习（delta学习） Hebb学习 竞争学习,人工智能及其应用,14,误差纠正学习,误差纠正学习的目的： 使训练样本输出与实际输出间误差的目标函数最小。 学习规则：,人工智能及其应用,15,Hebb学习,学习规则： 当某一突触两端的神经元同步激活(或抑制)时，该连接的强度应增强，反之应减弱。,人工智能及其应用,16,竞争学习,学习规则： 各输出单元互相竞争，最后只有一个最强者被激活 。 具有侧向抑制性连接的竞争学习网络：,人工智能及其应用,17,5.3 神经网络模型,神经网络典型模型 BP神经网络及算法 Hopfield神经网络及算法,人工智能及其应用,18,神经网络的典型模型,人工神经网络 激发函数 代表性模型,人工智能及其应用,19,人工神经网络,人工神经网络组成: 人工神经网络可看成是以人工神经元为节点，用有向加权弧连接起来的有向图。右图为人工神经网络的组成框架。,人工智能及其应用,20,激发函数（或作用函数）,常用的激发函数： (1)阈值型 (2)分段线性型 (3)Sigmoid函数型(简称S型) (4)双曲正切型,人工智能及其应用,21,代表性模型,自适应谐振理论 双向联想存储器 Hopfield网 反向传播网络 对流传播网络,博尔茨曼机 M-Adalin算法 认知机 感知器 自组织映射网,人工智能及其应用,22,BP神经网络,BP网络结构图：,人工智能及其应用,23,BP神经网络,BP网络的学习过程： (1) 选择一组训练样例，样例由输入和期望输出组成; (2) 取一样例，把输入信息输入网络； (3) 计算神经元处理后的各层节点输出； (4) 计算实际输出和期望输出的误差，如果误差达到要求，则退出，否则继续； (5) 从输出层反向计算到第一个隐层，并按照误差减小原则，调整各神经元的连接权值； (6) 对每个样例重复(3)(5)，直到对整个训练样例集的误差达到要求时为止。,人工智能及其应用,24,Hopfield神经网络,离散型Hopfield神经网络 连续型Hopfield网络及其VLSI实现,人工智能及其应用,25,离散型Hopfield神经网络,Hopfield神经网络的结构：,人工智能及其应用,26,离散型Hopfield神经网络,网络的稳定性： 连接权值构成的矩阵是非负对角元的对称矩阵，该网络就具有串行稳定性； 若该矩阵为非负矩阵，则该网络就具有并行稳定性。,人工智能及其应用,27,连续型Hopfield网络,连续型Hopfield网络神经元电路模型:,人工智能及其应用,28,连续型Hopfield网络,连续型Hopfield网络的特征: 神经元的传输特性具有S特性 细胞具有时空整体作用 神经元之间存在的兴奋和抑制性联结通过反馈来实现 既有代表产生动作电位的神经元，又有代表按渐进方式工作的神经元的能力,人工智能及其应用,29,5.4 知识发现与Agent技术,知识发现的过程 知识发现的方法 知识发现中的数据挖掘技术 Agent技术,人工智能及其应用,30,知识发现的过程,定义: 从大量数据集中辨识出有效的、新颖的、潜在有用的、并可被理解的模式的高级处理过程。 知识发现过程：,人工智能及其应用,31,知识发现的方法,统计方法 机器学习方法 神经计算方法 可视化方法,人工智能及其应用,32,统计方法,传统方法 模糊集 支持向量机 粗糙集,人工智能及其应用,33,机器学习方法,规则归纳 决策树 范例推理 贝叶斯信念网络 科学发现 遗传算法,人工智能及其应用,34,知识发现中的数据挖掘技术,数据挖掘及其研究内容 数据挖掘分类 数据挖掘的模型与算法 数据挖掘工具,人工智能及其应用,35,数据挖掘及其研究内容,定义: 从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含的、事先不知道的、但又是潜在有用的信息和知识。,人工智能及其应用,36,数据挖掘分类,根据挖掘对象，数据库分为: 关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库，以及万维网。 根据挖掘任务，知识发现任务分为： 分类或预测模型知识发现、数据总结、数据聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等。 根据挖掘方法分： 统计方法、机器学习方法、神经网络方法和数据库方法。 根据系统应用分： 金融、电信、商业预测等。,人工智能及其应用,37,数据挖掘模型与算法,人工神经网络 决策树 回归分析 遗传算法 邻近算法 模糊逻辑 规则推理,人工智能及其应用,38,数据挖掘工具,采用技术： 规则发现、决策树分类技术。 技术核心： 归纳算法,人工智能及其应用,39,Agent技术,Agent的基本特性： 反应性、自治性、社交能力和自发行为。 Agent的构成： 定义： 一个从感知序列到它所能发出动作序列的映射。,人工智能及其应用,40,Agent技术,思考型Agent,人工智能及其应用,41,Agent技术,反应型Agent：,人工智能及其应用,42,Agent技术,混合型Agent：,
