数字媒体导论

多媒体技术导论,2015.9.7,1,数字媒体技术导论,2,引言,课程概要 课程资料 课程内容及安排 考试方法,3,课程概要,授课目的 深入理解数字媒体技术基础； 掌握数字媒体信息的基本处理方法； 了解数字媒体技术的前沿研究进展和发展方向，为开展更深入的科学研究打下扎实基础。 课程内容 数字媒体技术导论：概念、原理、应用前景、最新技术、学科发展方向。 数字媒体技术基础：数字图像、视频处理的基本方法和技术。 关键技术专题：数字媒体编码、媒体分析与检索、数字版权管理、网络流媒体技术等。,4,课程资料,参考资料 林福宗 ，多媒体技术基础（第3版），清华大学出版社，2009年 张文俊 等，数字媒体技术基础，上海大学出版社，2007 北京大学数字媒体研究所数字媒体技术基础课程， http:/idm.pku.edu.cn/jiaoxue-MMF/2009/index.html 林福宗 ，多媒体技术基础教学课件 其他资料,5,课程内容及安排,第一部分：数字媒体导论（4课时） 第二部分：数字媒体基础（8课时） 数字彩色图像基础（2课时） 图像/视频处理基础（6课时） 第三部分：数字媒体关键技术（新技术专题） 多媒体压缩编码技术（6课时） 多媒体分析与检索技术（10课时） 多媒体通信技术（自学） 数字版权管理技术（自学） 第四部分：课程设计及复习（4课时）,6,考试方法,平时作业（30%） 大作业（70%，其中课堂Presentation 20%） 1. 视频字幕检测 2. 场景文字检测 3. 人脸属性检测 4.人的属性检测 5. 视频拷贝检测 6. 基于sift的图像拼接 7. 基于Leaf的植物种类识别,7,重要事项,明确分工 1）可运行程序 2）程序源代码，源代码必须有足够的注释 3）设计文档、系统说明文档、人员分工、课程体会 4）ppt 每周进行过程报告,第一讲,Introduction to Digital Media Technology,数字媒体技术导论,注：本部分内容主要参考北京大学数字媒体研究所数字媒体技术基础课件,8,提纲,数字媒体的基本概念 数字媒体技术的原理 数字媒体标准简介 数字媒体的应用,9,一、数字媒体的基本概念,10,什么是多媒体：定义,Multimedia释义 Multi (Latin multus) - many; much; multiple Medium (Latin medius) - a substance regarded as the means of transmission of a force or effect; a channel or system of communication, information, or entertainment (Merriam-Webster Dictionary ) 多媒体 Multimedia: 文本、图形、图像、视频和音频的组合形式，使其内容更丰富，更便于交流。 数字媒体 Digital Media: 以数字化的形式存储、处理和传播信息的媒体，以网络为主要传播载体，并具有多样性、互动性、集成性等特点。,Multimedia,Multi,Media,11,什么是多媒体：A Big Picture,多媒体,多媒体系统,网络,分布式多媒体系统,多媒体的特性,多媒体强调的是使用多种媒体、综合表达信息内容并进行交互式处理的技术。 从本质上来说，具有三种最重要的特性： 媒体的多样性，其中至少有一种连续媒体； 媒体的集成性（综合性），多种不同媒体综合地表现某个内容，取得更好的效果； 处理的交互性，使人们获取和使用信息的过程中具有细粒度的控制和操纵能力。,13,多媒体：分类,最常见的分类方法是基于感觉 文本 图像 音频(语音) 视频 基于描述空间中时间维分类 时间独立(离散) 文本、图形、图像 时间依赖(连续) 音频、视频、语音、动画 基于描述空间中空间维分类 1D媒体 单声道语音、音乐 2D媒体 双声道音乐、图像、二维图形 3D及多维媒体 三维图形 , 全景图像 , 空间立体声音乐,14,复合媒体,超文本(Hypertext) 利用超链接，允许非顺序读写的文本； 超媒体(Hypermedia) 超文本在多媒体方面的扩展，其节点不仅是文本，还可能是图像、视频、音频等。 超视频(Hypervideo) 通过链接和锚点文字，将视频集成到超媒体结构中。 In hypervideo, the video content is not regarded as a mere illustration, but can also be structured through links defined by spatial and temporal dimensions.,15,计算机科学领域内的多媒体技术体系,媒体处理和编码 包括媒体内容分析、检索、安全，音频/图像/视频的处理和压缩等。 媒体工具、端系统和应用程序 超媒体系统、用户接口、编著系统、多模态交互和集成等。 媒体系统支持和网络 媒体网络传输系统、网络流媒体，乃至网络协议、Internet、OS等。,媒体处理和编码,媒体系统支持和网络,媒体工具、端系统和应用程序,16,数字媒体技术的研究内容,核心关键技术 数字媒体信息处理技术：视音频编码压缩、图像/视频内容分析、语音识别等； 数字媒体传输技术：网络流媒体、P2P、无线多媒体传输等； 数字媒体内容管理技术：多媒体数据库、数字版权管理、数字信息保护、数字媒体集成分发等。 关联支持： 数字媒体信息获取与输出技术：图像/视频采集技术与设备、三维显示技术与设备等； 数字媒体存储技术：海量分布存储等。 扩展应用： 图形与动画技术：图形输入、图形建模、图形处理与输出、复杂物体造型、表演动画等； 虚拟现实技术：动态虚拟环境建模、实时三维图形生成、立体显示与传感器等。,17,数字媒体：编码、理解、传输与安全,18,18,为什么数字媒体很重要?,数字媒体无处不在 Mega Trend 1：所有设备和内容数字化 海量的多媒体数字图书馆； Mega Trend 2：计算、通信、内容、消费电子融合（4C）； Mega Trend 3：网络与多媒体的融合为个人与社会提供了更宽广的虚拟媒体世界与自我展示平台，如Youtube； Mega Trend 4：虚拟混和现实。 Conclusion：多媒体是信息技术发展的必然趋势 数字媒体技术应用广泛 家庭娱乐、教育培训、视频会议、远程医疗 数字影视、数字游戏、数字广播、数字出版、数字广告 国家产业与经济发展 数字音视频产业是电子信息产业的重要组成部分，主要由视频类、光盘类、音频类等产业群组成，产值约占信息产业产值的三分之一。 2008年数字视音频产业年产值已达9000万元，超过通信产业成为信息产业第一大产业。2010年达到15000亿，成为国民经济第一大支柱产业。 新经济时代，数字媒体产业提供了大量就业与创业机会 ！,19,数字内容产业是一个以创意为核心、以数字化为主要表现形式的新型产业群。是基于信息技术，由内容制作、内容服务、内容渠道等行业中的企业协作实现产业价值的综合性产业群体，是服务业中最具活力和创造力的部分，具有较长的产业链，同时又具有较强的增长带动性。因此，重点发展数字内容产业是一个国家级的战略决策。 在数字信息技术及互联网的高速发展推动下，以网络游戏、数字动漫、数字出版、数字学习、移动内容、数字视听、其他网络服务、内容软件为代表的数字内容产业(Digital Content Industry)快速发展，已经引起了国家的高度重视和积极推动。目前，中国数字内容产业规模继续保持快速增长，其市场规模已经超过了2000亿元。未来几年，中国数字内容产业仍将保持30%以上的高速增长态势。 数字内容产业作为智力密集型、高附加值的新兴产业，已列入国家国民经济和社会发展第十一个五年规划纲要、信息产业科技发展“十一五”规划和2020年中长期规划纲要、文化建设“十一五”规划。我国“十一五”规划纲要明确提出，鼓励数字内容产业发展，积极发展信息服务业。,所有设备和内容数字化,All Devices and Content are going Digital,21,Mega Trend 1：海量的多媒体数字图书馆,The Digital “Library”,22,Mega Trend 2：从2C到4C,Innovation,1985,1990,1995,2000,2005,Demand,Any Time, Anywhere, Any Device,COMPUTING,COMMUNICATIONS,23,计算、通信、内容、消费电子融合(4C),BROADBAND/Wired and Wireless Entertainment, E-Business, Services,MEDIA Pre-Recorded Content Personal Media,Conditional Access/Cable, Satellite, Broadcast, Wireless Services,Entertainment,Any Content+, Any Place, Any Device, Any Time,+ As Authorized,MOBILE MULTIMEDIA Entertainment, Personal Pictures and Video, Services,24,Mega Trend 3:虚拟媒体世界与自我展示平台,Flickr：世界上最大的在线照片管理和共享站点(www.flickr.com),25,Mega Trend 3:虚拟媒体世界与自我展示平台,Youtube：全球最大的视频博客网站(www.youtube.com),26,Mega Trend 4:虚拟混合现实,真实世界与虚幻世界的融合,27,Mega Trend 4:虚拟混合现实,www.mxrcorp.com 梦想人,28,Mega Trend 4:虚拟混合现实,清明上河图,29,作业1,在混合现实应用中（www.mxrcorp.com），用到了哪些相关技术（计算机视觉、图形学、3D建模）？请结合mxr尽可能详细的列举并描述。,30,课程回顾数字媒体导论,数字媒体的基本概念 多媒体的定义、特性、分类、技术体系、研究内容、关键技术等 数字媒体技术的原理 媒体数字化(Digitalization) 媒体描述(Representation) 媒体传输(Communication / Delivery) 媒体管理与消费(Management & Consumption) 数字媒体标准简介 数字媒体应用,31,二、数字媒体技术的原理,32,多媒体技术,33,媒体数字化(Digitalization) 采样、压缩、编码 媒体描述(Representation) 结构描述、特征描述、应用描述 媒体传输(Communication / Delivery) 流媒体、P2P 媒体管理与消费(Management & Consumption) 媒体展现、 浏览、检索、数字版权管理,媒体生产-消费链,多媒体作品(文档),媒体 集成,媒体编辑/描述,媒体采集/数字化,网络,媒体传输,媒体管理与消费,文本,图像,音频,视频,媒体展现,媒体管理 与消费,媒体展现,媒体编辑/描述,媒体采集/数字化,媒体编辑/描述,媒体采集/数字化,媒体编辑/描述,媒体采集/数字化,34,媒体数字化,为什么要数字化？ 通用的存储和传输格式 适用于光盘存储和 远距离传输 准确可靠，没有累计失真，属于无损传输和存储 数字化后处理更方便，易于编辑 媒体数字化关键技术 采样（Sampling） 量化（Quantizing