《多媒体通信技术》.ppt

多媒体通信技术,,第一章 多媒体通信技术概述 第二章 音频技术基础 第三章 图像技术基础 第四章 视频信息压缩与处理 第五章 多媒体通信系统中的关键技术 第六章 多媒体通信网络技术 第七章 多媒体数据的分布式处理 第八章 多媒体通信应用系统,本书章节,第一章 多媒体通信技术概述,多媒体技术的概念 多媒体通信系统的概念及主要特征 多媒体通信中的关键技术 多媒体通信的应用 多媒体通信技术的发展趋势,1.1 多媒体通信的基本概念,1媒体 “媒体”是指信息传递和存储的最基本的技术和手段，即信息的载体媒体可划分为5大类： (1) 感觉媒体（perception medium） 感觉媒体是指人类通过其感觉器官，如听觉、视觉、嗅觉、味觉和触觉器官等直接产生感觉（感知信息内容）的一类媒体，包括：声音、文字、图像、气味、冷热等 (2) 表示媒体（representation medium） 表示媒体是指用于数据交换的编码表示，包括：图像编码、文本编码、声音编码等其目的是为了能有效地加工、处理、存储和传输感觉媒体 (3) 显示媒体（presentation medium） 显示媒体是指进行信息输入和输出的媒体。

输入媒体包括：链盘、鼠标、摄像头、话筒、扫描仪、触摸屏等，输出媒体包括：显示屏、打印机、扬声器等4) 存储媒体（storage medium） 存储媒体是指进行信息存储的媒体包括：硬盘、光盘、软盘、磁带、ROM、RAM等 (5) 传输媒体（transmission medium） 传输媒体是指承载信息，将信息进行传输的媒体包括：双绞线、同轴电缆、光缆、无线电链路等 在多媒体技术中的“多媒体”通常是指感觉媒体的组合，即声音、文字、图像、数据等各种媒体的组合 2多媒体（Multimedia） “多媒体技术”的定义：所谓多媒体技术就是计算机交互式综合处理多媒体媒体信息文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个系统并具有交互性简而言之，多媒体技术就是计算机综合处理声、文、图 信息的技术，具有集成性、实时性和交互性的特点多媒体技术最简单的表现形式就是多媒体计算机多媒体计算机相对于普通计算机的一个根本不同点在于在多媒体计算机中增加了对活动图像（包括伴音在内）的处理、存储和显示的能力，其硬件配以声卡、视频采集卡等其主要特征体现在它能够有效地对电视图像数据进行实时的压缩和解压缩，并能够使在时间上有相关性的多种媒体保持同步。

3多媒体通信 多媒体通信技术是多媒体技术、计算机技术、通信技术和网络技术等相互结合和发展的产物 多媒体通信系统同时具有以下三个特征： 集成性 交互性 同步性,,集成性：主要是对各类信息进行存储、传输、处理、显现的能力 1）内容数据信息：文本、图形、静止图像与二值图像、声音、运动图像 2）多媒体和超媒体信息：是结构化信息，由结构框架+内容数据组成 3）脚本信息 4）特定的应用信息,,交互性：指的是在通信中使用者与系统之间的相互沟通的特性，它使用户可以更有效地控制和使用信息，增加对信息的注释和理解 交互性有两个方面的内容： 人机接口：也就是人在使用系统的终端时，系统向用户提供的操作界面 通信协议：用户终端与系统之间的应用层通信协议同步性：多媒体通信终端上显现的图象、声音和文字等信息是以同步方式工作 检索“刘谦 春晚”，显示多媒体信息，各信息同步显示1多媒体数据压缩技术 数据压缩的必要性和可能性1.2 多媒体通信中的关键技术,多媒体信息的特点,1.多媒体信息的类型,文本、图形、图像、动画、声音、视频,2. 常用多媒体处理软件,,CorelDraw Illustrator,图形类,图像类,photoshop ACDSee,多媒体信息的特点,,动画类,二维动画 Flash ANIMO 三维动画 3ds max maya,Cooledit pro VEGAS,声音类,影视编辑类,交互演示类,Authorware director flash,Premiere after effect,编程类,Vb VC Delphi Java,3. 多媒体信息的特点,多媒体数据类型复杂（多样性） 多媒体数据种类繁多也决定了多媒体数据表示的复杂性 多媒体数据的实时性 由于在多媒体技术中新引入的复杂媒体类型大部份都含有与时间有关的信息，因此在许多场合都要求实时处理,,3. 多媒体信息的特点,多媒体数据的同步性 另一由于引入与时间有关的媒体而形成的重要特点 数据量大 多媒体系统需要大量的存储空间来存放复杂类型的数据 多媒体数据的交互性 码率可变、突发性强 人们讲话时的停顿、 所传场景图像中物体的运动等都会形成码流速率的波动， 而且这种波动往往呈现出极强的突发性。

信息压缩的必要性,由于多媒体数据量非常大，造成计算机的存储和网络传输负担 若帧速率为25帧秒，则1s的数据量大约为25MB，一个640MB的光盘只能存放大约25s的动态图像 一幅640480分辨率的24位真彩色图像的数据量约为900KB；一个100MB的硬盘只能存储约100幅静止图像画面 解决办法之一就是进行数据压缩，压缩后再进行存储和传输，到需要时再解压、还原表1 各种信号的特性和未压缩速率,信息压缩的必要性,从上图可以看出： 未进行任何形式编码和压缩的窄带语音信号需要128 kb/s的速率， 即两倍于普通的速率 信号未被压缩的宽带话音需要256 kb/s的速率， 未压缩的双声道立体声CD音频需要1.41 Mb/s的速率 在保持原始信号质量的前提下， 窄带语音可以压缩到4 kb/s（301的压缩比）， 宽带话音可以压缩到约16 kb/s（151的压缩比）， CD音频可以压缩到64 kb/s（221的压缩比） 显然， 多媒体信号在进行有效的存储和传输之前， 必须进行处理， 而最关键的处理方法是进行数据压缩信息压缩的可行性,研究表明，一个文件所包含的数据量并不等于它所包含的信息量，数据中通常包含很大的冗余，其关系如： D=I+r 其中D为数据量， I为信息量，r为冗余量。

压缩：在多媒体信息中包含大量冗余的信息，把这些冗余的信息去掉的过程信息压缩的可行性,音频、图像和视频数据中存在的冗余主要有以下几种： （1）空间冗余 图象本身的数据冗余 在任何一幅图像中， 均有许多灰度或颜色都相同的邻近像素组成的局部区域， 它们形成了一个性质相同的集合块， 即它们之间具有空间（或空域）上的强相关性， 在图像中就表现为空间冗余空间冗余的压缩方法：把这种局部区域集合块当作一个整体， 用极少的数据量来表示， 从而节省存储空间 这种压缩方法叫空间压缩或帧内压缩， 它的基本点就在于减少邻近像素之间的空间（或空域）相关性信息压缩的可行性,该图为一张俯视图， 图中央的黑色是一块表面均匀的积木块， 在图中， 黑色区域所有点的表示数据差不多都是相同的， 因而黑色区域的数据表达有很大的冗余信息压缩的可行性,（2）时间冗余 序列图像和语音数据中包含的冗余 活动图像（视频）中的两幅相邻图像之间存在的相关性或一段时间内连续音频存在的相关性信息压缩的可行性,（3）信息熵冗余 信息熵冗余也称为编码冗余，它是指一块数据所携带的信息量少于数据本身所产生的冗余例如，利用等长码表示信息就比不等长码如Huffman编码表示信息量存在冗余。

（4）结构冗余 指图象各部分结构上的类似性所产生的冗余，例如物体表面图象上的纹理结构信息压缩的可行性,（5）知识冗余 指某些图象的结构可由这些图象的先验知识和背景知识获得 例：汽车图象的结构可由汽车的先验知识和背景知识得到这种冗余称为知识冗余 例： 人脸的图像有固定的结构， 嘴的上方有鼻子， 鼻子的上方有眼睛， 鼻子位于正脸图像的中线上等等 这类规律的结构可由先验知识和背景知识得到， 因此这类信息对一般人来说是冗余信息信息压缩的可行性,（6）视觉听觉冗余 视觉听觉冗余是指人的视觉、听觉分辨率低于实际图象、音频的分辨率所产生的冗余 例如，人的视觉对灰度等级的分辨率是2个等级，而一般图象量化所采用灰度等级是2等级 例如， 人的视觉对于图像边缘的急剧变化不敏感， 对图像的亮度信息敏感， 对颜色的分辨率较弱等 因此， 如果图像经压缩或量化发生的变化（或称引入了噪声）不能被视觉所感觉， 则认为图像质量是完好的或是够好的， 即图像压缩并恢复后仍有满意的主观图像质量 （7） 其他冗余,4. 压缩的种类 无损压缩 也称为冗余压缩或无失真压缩冗余压缩法去掉或者减少了数据中的冗余，但这些冗余数据是用特定的方法重新插入到数据中。

冗余压缩是可逆的，它能保证百分之百地恢复原始数据 在多媒体技术中，一般用于文本的压缩但这种方法压缩比较低常用的压缩编码方法有LZW编码、行程编码、霍夫曼（Huffman）编码等，压缩比一般在2：15：1之间有损压缩 也称为有失真压缩或熵压缩法压缩了熵，会减少信息量，而损失的信息量是不能恢复的，因此这种压缩方法是不可逆的 这种方法适合对图像、声音、动态视频等数据进行压缩，对动态视频的压缩比可达到50：1200：1当然，对多媒体数据进行有损压缩后，就涉及到压缩质量的问题，一般的要求是压缩后的内容不应该影响人们对信息的理解数据压缩的主要指标,有较高的压缩比、压缩和解压缩时间短、解压缩后信息恢复质量高是评价压缩好坏的主要方面 1. 有较高的压缩比 即压缩前后的数据量之比，如果文件的大小为1MB，经过压缩处理后变成0.5MB，那么压缩比为2:1高的压缩比是数据压缩的根本目的，无论从哪个角度看，在同样压缩效果的前提下，数据压缩得越小越好当然还要考虑多媒体数据压缩后的输入和输出表示方式数据压缩的主要指标,2. 解压缩后信息恢复质量高 对于文本等文件，特别是是程序文件，是不允许在压缩和解压缩过程中丢失信息的。

因此需要采用无损压缩，不存在压缩后恢复质量的问题对于图像、声音和视频影像，数据经过压缩后允许信息的部分丢失在这种情况下，信息经解压缩后不可能完全恢复，压缩和解压缩质量就不能不考虑因此，是否具有好的恢复质量是数据压缩的另一个重要指标表2 图像主观评价性能表,数据压缩的主要指标,3. 压缩和解压缩时间短 数据的压缩和解压缩是在一定数学模型的基础上，通过一系列数学运算实现的计算方法的好坏直接关系到压缩和解压缩过程所需要的时间数据压缩的主要指标,有较高的压缩比、压缩和解压缩时间短、解压缩后信息恢复质量高是评价压缩好坏的主要方面 1. 有较高的压缩比 即压缩前后的数据量之比，如果文件的大小为1MB，经过压缩处理后变成0.5MB，那么压缩比为2:1高的压缩比是数据压缩的根本目的，无论从哪个角度看，在同样压缩效果的前提下，数据压缩得越小越好当然还要考虑多媒体数据压缩后的输入和输出表示方式1.2 多媒体通信中的关键技术,视频压缩 从图像压缩编码的发展过程看，可以分为三个阶段，即第一代、第二代、第三代图像压缩编码方法 第一代图像压缩编码方法以仙农信息论为基础，考虑图像信源的统计特性，采用预测编码、变换编码、矢量量化编码、子带编码、小波变换编码、神经网络编码等方法。

第一代图像压缩编码方法于80年代初已趋于成熟，目前利用第一代技术对视频图像的压缩可以得到848Kb/s的最低码率 第二代图像压缩编码方法充分考虑了人眼的视觉特性，从人类的主观特性出发，采用基于方向滤波的图像编码方法和基于图像轮廓纹理的编码方法，利用第二代图像压缩编码方法可以获得极低码率的图像数据，目前第二代技术尚未发展到成熟的阶段 第三代图像压缩编码方法考虑到了图像传递的景物特征，采用分形编码方法和基于模型的编码方法，其中基于模型的压缩编码方法是目前最活跃的研究领域，代表着新一代的压缩编码方向有关图像压缩编码的国际标准主要有：JPEG、H.261、H.263、MPEG-1、MP。