机器学习：一绪论-2.ppt

Company Logov 课堂作业，完成deep learning的讨论，或者分组学习，完成学习报告v 一篇报告，针对课堂任何一个内容，进行详细的原理阐述、数学推导、实现、以及结合自己课题进行应用，7月1日前发到v 开卷考试 ，大约10道大题，最后一次课程随堂考试v 推荐教材： 张宝昌 等 机器学习与视觉感知 清华大学出版社Company LogoTuring award goes to machine learning expertv A Harvard University professor has been awarded a top technology prize for research that has paved the way for computers that more closely mimic how humans think, including the one that won a Jeopardy! tournament.v Leslie Valiant, who teaches computer science and applied mathematics at Harvards School of Engineering and Applied Sciences, was awarded the A.M. Turing Award for 2010, the Association for Computing Machinery said Wednesday. The $250,000 award is considered the Nobel Prize of computing and is named after the famous British mathematician Alan M. Turing.Company LogoTuring award goes to machine learning expertv Some of Valiants biggest contributions concern the mathematical foundations of computer learning, an area of study that has led to breakthroughs such as IBM Corp.s Watson, the machine built to play Jeopardy! In matches aired last month, the computer breezed past two of the game shows top winners in a display of how far computer scientists have come in programming computers to understand the subtleties of human language and make decisions based on the mountains of data the machines are able to store.v The association cited contributions that have led to advances in artificial intelligence and areas such as natural language processing, handwriting recognition and computer vision. It also cited his influential models for parallel computing, or processing many different kinds of data at once rather than the one-at-a-time approach of traditional computing.Company Logo机器学习定义v 学习是在完成特定任务的过程中，通过经验改善任务执行效率的能力 H.A.Simon 美国著名科学家，认知心理学创始 人：学习是系统对环境的适应性变化，以使系统 在遇到同样情形时，更为有效。

R.S.Michalski 波兰人，机器学习领域创建人 之一：学习是构造或修改所经历事物的表示v 机器学习是探索人类学习的内在机制与规律，尝试建立具有学习能力的计算理论与方法的科学（归纳与综合）Company Logo机器学习应用语音识别数据挖掘控制学习搜索引擎目标识别文本分析应用Company Logo机器学习理论主动询问学习PAC学习学习相关问题1学习相关问题2增强学习无监督学习理论有监督概念学习实例成败概率（）假设误差（）学习错误学习者询问策略学习收敛速度学习渐进性能Company Logo机器学习的发展及趋势v80年代 1983年，机器学习：通往人工智能的途径 R.S.Michalski等著 1986年，Machine Learning杂志创刊 主要方法：符号主义，代表：ILP 连接主义， 代表：NNv90年代 统计学习，代表：SVM归纳逻辑程序设计神经网络支持向量机Company Logo统计学习的发展及趋势u60-80：统计学习革命，Fisher理论体系被取代 学习的基本问题 现象A现象B依赖关系观测估计依赖关系先验知识必须了解多少？Fisher理论：很强限制新理论：只需知道未知函数所属函数集的一般性质新理论研究主题：什么条件下可能对未知依赖关系进行估计? 阐述依赖关系估计的最佳原则？ 最佳原则的有效算法？Company Logo统计学习的发展及趋势引导这一革命的60年代四项发现：p 解决不适定问题的正则化原则 Tikhonov，Ivanov，Phillipsp 非参数统计学 Parzen，Rosenblattp 泛函空间的大数定律，及其与学习过程的关系 Vapnik，Chervonenkisp 算法复杂性与归纳推理的关系 Kolmogorov，Solomonoff，Chaitin 学习理论：小样本统计学习理论Company Logo机器学习的发展及趋势v目前及趋势 普适机器学习:基础方法、广泛应用v机器学习面临的挑战n泛化能力：学习推广能力，SVM，理论-实践；EL ，实践-理论n学习速度： “训练速度” 和 “测试速度”，训练速度快则测试速度慢：k近邻；测试速度快则训练速度慢：神经网络n可理解性（理论层面）：学到了什么？“黑盒子”：NN、SVM、EL，“白盒子”问题 deep learning集成学习（ensemble learning）Company Logo机器学习的发展n未标记数据处理：充分利用各种数据，如何利用问题：经典机器学习方法：标记数据-事件结果未标记数据：遥感数据、web、海军舰队“坏”数据-噪声污染、属性缺失、不一致，处理：扔掉n代价敏感：减低错误率，漏警与虚警问题：把“正确”当成“错误” 把“错误”当成“正确” 一样吗？达到较低错误基础上，如何趋利避害？n高维数据处理：成千上万个属性n结构数据学习：挖掘“结构”隐含的信息n领域知识利用：特定领域的“最优学习器”Company Logo机器学习国外研究现状 美国航空航天局JPL实验室的科学家在Science（2001年9月）上撰文指出：机器学习对科学研究的整个过程正起到越来越大的支持作用，该领域在今后的若干年内将取得稳定而快速的发展Company Logo机器学习国外研究现状vDARPA启动PAL计划 启动：2003年 时间：5年 首期投入：2千9百万美元/1-1.5年 核心：机器学习 涵盖：知识表达、知识推理、自然语言处理 目标：获得新的有价值的技术，可用于军事、商 业、科学研究；开发新软件，可帮助决策 者处理并发多任务及意外事件等复杂问题 Defence Advanced Research Projects Agency美国国防部高等研究计划局Perceptive Assistant Learns 感知辅助学习Company Logo机器学习国外研究现状vRADAR子计划 承担单位：CMU（卡内基梅陇大学） 首期：7百万美元 目标：辅助管理者处理耗时任务；系统必须与人 类相互交流，接受外部建议和指令vCALO子计划 承担单位：SRI（斯坦福研究院）等20家单位 首期：2千2百万美元 目标：用户示教和通过工作自动学习的软件，可以处理广泛的相关决策任务，可以执行常规任务，辅助解决突发事件ReflectiveAgentswithDistributedAdaptiveReasoning分布式自适应推理智能单元Company Logo机器学习国外研究现状分类：将观察信息分为相关学习组语言：从文本和话语学习新的信息建议：向用户学习关系：从实例中学习相互关系时序：学习用户行动的动态结构程序：通过规划学习处理新任务推断：对学习的新事实推理感知：用图像、声音等其他知识辅助学习情景/片段记忆人类大脑Company Logo机器学习国内研究现状v清华大学张院士研究组：NN 几何覆盖算法，商空间v北京大学何新贵院士研究组：NN 过程神经网络v总参李德毅院士研究组：概率模型，云模型v中科院自动化所王珏教授研究组：符号学习，规则+例外v南京大学周志华教授研究组：NN 集成学习主要机构u国外USA: MIT (Poggio), UIUC (Thomas Huang), CMU (T. Kanade), MSU (A.K. Jain), Maryland (Resenfeld, Chellappa)Canada: Toronto (Hinton), Concordia (C.Y. Suen)UK: Surrey (Kittler), MSR Cambridge (Bishop)France: INRIA2Company Logo机器学习方面的权威期刊1 AIJ Artificial Intelligence2 JMLR Journal of Machine Learning Research3 TPAMI IEEE Pattern Analysis and Machine Intelligence4 IJCV International Journal of Computer VisionCompany Logo机器学习方面主要国际会议1 AAAI National Conf. AI2 COLT ACM Ann. Conf. Learning Theory3 ICML Intl. Conf. Machine Learning4 IJCAI Intl. J. Conf. AI5 NIPS Conf. Neural Information Processing Systems6CVPR, ICCV, ECCV 面向学习理论应用Company Logo机器学习主要研究方法v机器学习系统结构 学习算法定义：给定算法A、任务T、性能评估量P、经验E，当A对T进行操作时，如果A随E的增加使得P完善，则称A具有从E进行学习的能力。

举例：给定算法A T=买房子 P=正确率； E=学习样本目标分类分类正确次数/总次数目标训练样本机器人自动驾驶无差错里程/总里程人类驾驶录像及驾驶指令房子的价钱是由包括面积、房间的个数、房屋的朝向等等因素去决定的广义的线性函数Company Logo机器学习主要研究方法v选择训练经验E：n 为P提供直接或间接反馈 直接训练：状态-正确选择 间接训练：过去结果 信用分配：影响程度n 学习器控制训练顺序的能力 被动学习，施教者提供样本顺序 半主动学习，自动选择样本，询问施教者 主动学习，不依赖施教者，试验新样本，自动修改 学习结果 Company Logo机器学习主要研究方法n 训练样本集S分布与T分布的匹配程度：泛化能力v 选择目标函数n知识表达：状态空间描。