《深度学习》课程教学大纲.docx

《深度学习》课程教学大纲一、课程基本信息课程代码：课程名称：深度学习英文名称：Deep learning课程类别：专业方向课学时：48学分：3适用对象:大三以上对人工智能及相关学科感兴趣的学生考核方式：考查先修课程：数学分析、高等代数、概率论与数理统计二' 课程简介本课程是人工智能前沿课程，培养学生用机器学习方法分析并解决包括但不限于 图像理解、语音识别、自然语言理解等实际问题的能力内容主要主要分成三大块， 一是以回归、分类、广义回归为代表的浅层模型；二是BP神经网络、深度网络、卷 积网络、反应网络、长短期记忆单元等为代表的深度神经网络模型；三是介于有监督 学习和无监督学习之间的强化学习模型这些技术和内容是当今人工智能人才所必须 掌握的，也是相关企业所迫切需要的课程的特色是通过通俗易懂的推导、简单的算 例展示各种模型的技术细节，然后通过实验来强化对知识的理解和动手能力的提高This is one of cutting-edge course from the field of artificial intelligence. Generally, The topics cover shallow model( regression/classification models include the basic concept of machine learning , generalized linear models),Deep model(BP networks and Depth learning models, deep convolution network, Rucurrent neural network, Long-short term memory model) and a set of methods called reenforced learning techniques used in today's popular AlphaGo chess programs.三、课程性质与教学目的(黑体，小4)(正文宋体/小四)建议在课程教学目的融入课程思政要求本课程是人工智能前沿课程，其目的是借助统计学科背景知识，让学生彻底理解 并掌握以深度学习为代表的人工智能前沿技术，培养学生用机器学习方法分析并解决 包括但不限于图像理解、语音识别、自然语言理解等实际问题的能力。

为相关企事业 单位培养合格的人工智能方面的人才动态规划算法、蒙特卡罗算法、时间差分学习算法.基本概念和知识点策略预测、策略控制、策略迭代、值迭代、回合、勘探/利用、同策略/异策略、 重要性抽样、覆盖性假设、前向视觉/后向视觉.问题与应用（能力要求）掌握从数据中拟合MDPs模型的方法具备将MDPs模型解决实际的半监督学 习问题第三节深度强化学习算法.主要内容基于深度网络的状态价值和动作价值函数近似、基于深度网络的策略梯度法1 .基本概念和知识点.问题与应用（能力要求）具备融合深度技术和强化学习技术处理实际中存在的高级机器智能化问题，初步 具备为高新企业提供智能化解决方案提供决策咨询，甚至技术支持的能力第四节 深度强化学习的应用.主要内容围棋AlphaGo、从AlphaGo到AlphaGo Zero＞基于像素的乒乓球游戏1 .基本概念和知识点围棋博奕树、蒙特卡罗树搜索、策略网络、价值网络2 .问题与应用（能力要求）具备融合深度技术和强化学习技术处理实际中存在的高级机器智能化问题，初步 具备为高新企业提供智能化解决方案提供决策咨询，甚至技术支持的能力三）思考与实践运行至少一个MDPs模型，并思考MDPs模型的优缺点。

四）教学方法与手段课堂讲授，课后编程五、各教学环节学时分配（黑体，小4）\教学环节、讲课习 题 课讨 论 课实验实习其他 教学 环节小计第一章：浅层模型1-2周0.5周0.5周3周第二章：深度神经网络4-5周0.5周0.5周3周第三章：卷积神经网络7-8周0.5周0.5周3周第四章：反应神经网络10-11 周0.5周0.5周3周第五章：深度强化学习1335 周0.5周0.5周4周合计11周2.5周2.5周16周“各教学环节学时分配”中，“其它教学环节”主要指习题课、课堂讨论、课程设计、观看视 频、现场参观等教学环节六、课程考核（—）考核方式：本课程作为统计学研究生课程，也可作为统计与数学学院高年级本科专业课程， 期末考试可为闭卷笔试和课程论文结合的方式主要考察学生对统计机器学习基本概 念和常见的统计机器学习方法的掌握以及这些方法，尤其是深度学习方法背后的统计 学原理的把握二）成绩构成平时成绩占比：30% 期末考试占比：70%学生的课程总评成绩由平时成绩（占10%）、实验成绩（占20%）和期末考试成绩 （占70%）三局部构成，期中平时成绩包括出勤、作业、课题测验、学习主动性等要 素三）成绩考核标准建议文科类专业在此模块融入课程思政相关元素具体标准见每期的参考答案及评分标准。

七、推荐教材和教学参考资源建议有相关课程思政教学资源的也可列入包括推荐教材、经典书目、参考书、杂志、期刊、网络刊物、电子刊物、学习网站网络刊 物和学习网站需要有具体网址链接，参考书格式应包括书名、编著者、出版社和出版年份等其格式如下：序号.作者（编著者）.书名（版本）.出版地：出版社，出版年份序号.［国别］作者（编著者）.书名（版本）.译者（假设为中文版）.出版地：出版社，出版年 份L陈蔼祥.深度学习.清华大学出版社.20202. Andrew Ng （吴恩达）.Standford机器学习公开课.3. Trevor Hastie, Robert Tibshirani, Jerome Friedman. The element ofstatistical learning. Springer, ISBN: 0, 20164. Ian Goodfellow and Yoshua Bengio and Aaron learning. MIT Press, 2016八、其他说明（黑体，小4）修订日期：2021年1月2日审定日期：2021年1月5日（正文宋体/小四）大纲修订人：陈蔼祥、张赞波大纲审定人：陈蔼祥通过本课程，将结合技术的介绍穿插进行课程思政教育，让学生形成科技强国的 意识，甚至形成科技复兴民族的理念。

具体地，本课程将向学生传递科学技术开展规 律基础上，设法让学生建立正确的科学与技术的辩证统一的关系的认知，并认识中外 科技开展水平差异，以及差距背后的个体和群体的原因然后让学生潜移默化中形成 踏踏实实做学问，在个体扎实科研工作基础上实现个人价值与国家、民族复兴大业这 一社会价值的统一四、教学内容及要求（黑体，小4）建议重点在此模块根据课程情况融入课程思政元素第一章浅层模型（一）目的与要求1 .介绍机器学习的基本概念和方法，掌握编程实现机器学习算法的能力2 .掌握数据分析基本方法和背后的统计学原理3 .理解浅层模型处理数据能力的局限（二）教学内容第一节深度学习史前开展史1 .主要内容数据分析的三个阶段的划分从统计学、数学、计算机三大学科在数据分析中的 角色演变认识科技开展规律2 .基本概念和知识点数据分析，机器学习，人工智能三概念，以及统计学、计算机技术开展在数据科 学中的角色与作用演化3 .问题与应用（能力要求）要求做到概念清晰，学科边界明确，开展脉络的准确把握第二节线性回归模型.主要内容线性回归（梯度下降,正规方程），模型选择，属性空间，假设函数空间，特征映 射，特征选择，回归分析的概率解释。

1 .基本概念和知识点训练集，输入变量/特征,输出变量/目标变量，假设函数，极小二乘法，优化目标，随机梯度，全梯度.2 .问题与应用（能力要求）掌握机器学习的基本概念,初步建立模型的概念，并掌握通过优化方法编程实现从 数据中学习简单的线性模型的能力.第三节Logistics二分类模型.主要内容回归与分类问题，Logistics回归.基本概念和知识点伯努利分布与分类问题.问题与应用（能力要求）建立训练数据的概率分布的概念，初步形成对数据的洞察力理解并掌握为何不 同分布的数据需选用不同的模型掌握通过优化方法编程实现从数据中学习简单的二 分类模型的能力第四节Softmax多分类模型.主要内容Softmax多分类模型.基本概念和知识点多重伯努利分布与多分类模型.问题与应用（能力要求）建立训练数据的概率分布的概念，初步形成对数据的洞察力理解并掌握为何不 同分布的数据需选用不同的模型掌握通过优化方法编程实现从数据中学习简单的多 分类模型的能力第五节广义线性模型.主要内容广义线性模型GLMs.基本概念和知识点指数分布族，联接函数（Link function）,响应函数（Response function）1 .问题与应用（能力要求）进一步理解线性模型的局限以及广义线性模型思想在克服传统线性模型缺乏上 的努力及取得的相应效果，逐步形成广义线性模型这一类浅层模型的内在局限性的认 识。

理解并掌握Softmax多分类模型，掌握通过优化方法编程实现从数据中学习多分 类模型的能力第四节模型选择与交叉验证.主要内容模型选择，特征选择1 .基本概念和知识点欠拟合和过拟合，方差与偏倚，训练误差，测试误差，交叉验证，k-折交叉验证 3.问题与应用（能力要求）理解欠拟合和过拟合的概念，并能通过训练误差和测试误差识别模型是处于欠拟 合还是处于过拟合掌握通过交叉验证方法进行模型选择的基本方法三）思考与实践编程实现至少一个浅层模型，并思考浅层模型的局限四）教学方法与手段课堂讲授，课后编程第二章深层模型（一）目的与要求.介绍BP神经网络、深层神经网络1 .理解深层神经网络工作机理，掌握训练深层神经网络的技巧.掌握克服深层神经网络过拟合的假设干技巧和方法（二）教学内容第一节传统BP网络1 .主要内容联结学派的生物学背景，BP网络结构，BP算法2 .基本概念和知识点MP神经元模型，激活函数，前向计算，反向计算，3层BP网络的任意逼近能力3 .问题与应用（能力要求）掌握BP网络的原理和计算过程掌握通过优化方法编程实现BP算法第二节 从BP网络到深度网络.主要内容BP网络的局限及深度网络优点，表示学习，深度学习中的正那么化技术.基本概念和知识点无监督学习，梯度消失/爆炸，逐层贪心预训练，稀疏自编码，栈式自编码，特 征提取，微调多层自编码，表示稀疏，模型平均，Dropout.问题与应用（能力要求）理解并掌握深度学习中的关键技术，比方特征提取，正那么化技术。

具备将深度技 术应用于解决高精度的分类识别难题的能力第三节深度网络的进一步解释.主要内容深层网络的可视化、深层网络的局部-整体表征学习能力.基本概念和知识点自动特征提取、局部-整体表征学习.问题与应用（能力要求）理解并掌握深度神经网络在局部-整体表征学习方面的能力具备将深度技术应 用于解决高精度的分类识别难题的能力第四节 克服过拟合：深度网络中的正那么化技术.主要内容克服过拟合的三类技术：模型约束、输入约束、模型集成.基本概念和知识点正那么化、过拟合.问题与应用（能力要求）深层神经网络在高效的表征学习能力。