第二章 多媒体音频技术(1)

1、返回 多媒体音频技术 主讲教师：张敏 第二章 多媒体媒体元素是指多媒体应用中 可显示给用户的媒体组成。 多媒体中的媒体元素 音频 动画 视频 文本 图形 图像 目 录 2.1 数字音频基础 返回 2.2 声卡与音箱 2.3 MIDI音频 2.4 语音识别技术 2.5 音频处理软件 2.1 数字音频基础 2.1.1 声音的基本概念 2.1.2 声音的数字化 返回 2.1.3 数字音频的文件格式 音频 数字音频（Audio）可分为波形声音、 语音和音乐。 波形声音实际上已经包含了所有的 声音形式，它可以将任何声音都进行采 样量化，相应的文件格式是WAV 文件或 VOC文件。 语音也是一种波形，所以和波形声 音的文件格式相同。 音乐是符号化了的声音，乐谱可转 变为符号媒体形式。对应的文件格式是 MID 或CMF 文件。 2.1.1 声音的基本概念 声音是由空气中分子的振动而产生的。自 然界的声音是一个随时间而变化的连续信号， 可近似地看成是一种周期性的函数。通常用模 拟的连续波形描述声波的形状，单一频率的声 波可用一条正弦波表示，如下图所示。 振幅 周期 基线 声音的质量 次声波 声音频率

2、可听声波 20Hz20kHz 超声波 语音信号频率：300Hz3Khz 声音质量频率范围/Hz 电话质量2003400 调幅广播507000 调频广播2015000 数字激光唱盘1020000 与声音的带宽有关，一般来 说频率范围越宽，声音质量也就越高。 声音质量的频率范围（频域或频带） 声音是具有一定的振幅和频率且随时间 变化的声波，通过话筒等转化装置可将其变成 相应的电信号（模拟信号），不能由计算机直 接处理。 为使计算机能处理音频，必须对声音信号 数字化。 2.1.2 声音的数字化 采样编码量化 声音的 模拟信号 声音的 数字信号 声音的数字化过程: 模拟信号数字信号 A/D ADC D/A DAC 采样和量化 (c) 采样信号的量化 (a) 模拟音频信号(b) 音频信号的采样 数字化音频的过程如下图所示。 示意示意 采样定理： 仅当采样频率2倍的原始信号频率时 ，才能保证采样后信号可被保真地恢复为 原始信号。 模拟声音在时间上是连续的，或称连 续时间函数x(t)。用计算机处理这些信号 时，必须先对连续信号采样，即按一定的 时间间隔(T)在模拟声波上截取一个振幅值 (通常为反映某

3、一瞬间声波幅度的电压值) ，得到离散信号x(nT)(n为整数)。T称采样 周期，1/T称为采样频率。 量化： 为了把采样得到的离散序列信号 x(nT)存入计算机，必须将采样值量化成 有限个幅度值的集合x(nT)，采样值用二 进制数字表示的过程称为量化编码。 对模拟音频信号进行采样量化编码后，得到数 字音频。数字音频的质量取决于采样频率、量 化位数和声道数三个因素。 影响数字音频质量的技术参数 采样频率是指一秒钟时间内采样的次数。 在计算机多媒体音频处理中，采样频率通常采用 三种：11.025KHz(语音效果)、22.05KHz(音乐效 果)、44.1KHz(高保真效果)。常见的CD唱盘的 采样频率即为44.1KHz。 1）采样频率 2) 量化位数 量化位数也称“量化精度”，是描述每个采样点 样值的二进制位数。例如，8位量化位数表示每 个采样值可以用28即256个不同的量化值之一来 表示，而16位量化位数表示每个采样值可以用 216即65536个不同的量化值之一来表示。常用 的量化位数为8位、12位、16位。 3) 声道数 声音通道的个数称为声道数，是指一次采样所记 录产生的声音波形个数

4、。记录声音时，如果每次 生成一个声波数据，称为单声道；每次生成两个 声波数据，称为双声道（立体声）。随着声道数 的增加，所占用的存储容量也成倍增加。 Sampling Resolution 8 bit Sampling Frequency 11 KHz +127 +64 +32 0 -32 -64 -128 01001010 Comparison: Sampling Resolution 16 bit Sampling Frequency 22 KHz +32767 +512 +128 0 -128 -512 -32768 0010101100011000 Comparison: 数字音频文件的存储量 存储量=采样频率量化位数/8声道数时间 例如，用44.1KHz的采样频率进行采样， 量化位数选用16位，则录制1秒的立体声节目， 其波形文件所需的存储量为： 以字节为单位，模拟波形声音被数字化后 音频文件的存储量(假定未经压缩)为： 4410016821=176400(字节) 数字音频信号的编码 一般情况下，声音的制作是使用麦克风或录音机 来产生，再由声卡上的WAVE合成器的(模/数转

5、换器)对模拟音频采样后，量化编码为一定字长的 二进制序列，并在计算机内传输和存储。在数字 音频回放时，再由数字到模拟的转化器(数/模转 换器)解码可将二进制编码恢复成原始的声音信号 ，通过音响设备输出。如下图所示。 模拟音频信号输入采样/量化编码 传输/存储解码播放 1) WAV文件 扩展名：.wav 相关公司或组织:Microsoft和IBM 主要优点：声音层次丰富、还原性好、表 现力强、可通过增加驱动程序而支持各种 各样的编码技术。 主要缺点：波形文件的数据量大，不适于 传播和用作聆听。支持的编码技术大部分 只能在Windows平台下使用。 适用领域：自然语音的保存与重放 2.1.3 数字音频的文件格式 2) MP3文件 扩展名：mp3 （包括mp2和mp1等） 相关公司或组织:Fraunhofer-IIS 主要优点：在低至128kbps的比特率下提 供接近CD音质的音频质量。广泛的支持。 主要缺点：出现得比较早，因此音质不是 很好。 适用领域：一般聆听和高保真聆听。 3) mp3PRO文件 扩展名：mp3 （包括mp2和mp1等） 相关公司或组织: Fraunhofer-IIS、

6、 CodingTechnologies、Thomson Multimedia 主要优点：在低至64kbps的比特率下提供 接近CD音质的音频质量。 主要缺点：专利费用较高，支持的软件和 硬件不多。 适用领域：一般聆听和高保真聆听。 4) WMA文件 扩展名： wma , asf 相关公司或组织: Microsoft 主要优点：功能齐全，使用方便。同时支持 无失真、有失真、语音压缩方式。在MP3文件 一半大小的前提下，保持相同的音频。 主要缺点：失真压缩方式下音质不高。必须 在Windows平台下才能使用。 适用领域：音频档案级别保存，一般聆听， 网络音频流传输。 5) MIDI文件（乐器数字接口） 扩展名： MID、MIDI、RMI、XMI等 相关公司或组织: MIDI Association 主要优点：音频数据为乐器的演奏控制， 通常不带有音频采样。 主要缺点：没有波表硬件或软件配合时播 放效果不佳。 适用领域：与电子乐器的数据交互，乐曲 创作等。 2.2 声卡与音箱 2.2.1 声卡 2.2.2 音箱 2.2.1 声卡 1. 声卡的主要功能 2. 声卡的组成原理 3. 声卡的性能指

7、标 4. 声卡的外部接口 1. 声卡的主要功能 声卡是负责录音、播音和声音合成的一种多媒体 板卡，其功能包括: 录制、编辑和回放数字音频 文件，控制各种声源的音量并加以混合，在记录 和回放数字音频文件时进行压缩和解压缩，采用 语音合成技术让计算机朗读文本，初步的语音识 别，MIDI接口和输出放大等。 2. 声卡的组成原理 总线接口芯片 混音器 A/D和D/A 数字音频处理芯片音乐合成器 话筒输入 线性输入 扬声器输出 线性输出 MIDI接口 CD接口 对以下音源进行混合：数字化声音(DAC)，调 频FM合成音乐(FM),CD音频(CD-ROM)，线路输 入(AUX)，话筒输入(MIC)及PC声音输出(SPK) 将数字音频波形数据或 MIDI消息合成为声音。 完成信号的记录、播放任务，ADPCM压 缩，改变采样频率，解释MIDI指令等 3. 声卡的性能指标 采样和量化能力 采样频率和量化位数越高，声卡产生的声音越 细腻，直接影响声卡的频率响应范围。 芯片类型 通常有2声道、2.1声道、4.1声道、5.1声道。 总线类型 输出声道数 按声卡与计算机连接方式不同，分为ISA总线、 PCI总线

8、和USB电缆连接方式。 CODEC芯片、专用数字信号处理器 4. 声卡的外部接口 LINE IN LINE OUT SPK OUT 游戏杆/MIDI 录音机、CD唱机等 线性输出 话筒 扬声器 线性输入 立体声放大器 MIDI设备/游戏杆 MIC IN 2.2.2 音箱 1. 音箱的分类 2. 音箱的性能指标 .音箱的分类 按照箱体材质 塑料和木质音箱。 按照功率放大器的内外置 通常有2.0、2.1、4.1、5.1、7.1。 按照接口 按照声道数量 普通声卡接口、数字接口、USB接口等。 有源音箱和无源音箱。 .音箱的性能指标 输出功率 分为：额定功率和最大峰值功率两种。音箱功 率越大，音质效果越好。 频率范围与频率响应 信噪比 普通音箱：7080dB，高档音箱：8090dB， 专业音箱：95dB以上。 音箱的频率响应曲线越平坦，失真越小，性能 越高。 .音箱的性能指标（cont） 灵敏度 指产生全功率输出时的输入信号。输入信号越 低，灵敏度越高，音箱性能就越好。 阻抗 扬声器输入信号的电压与电流的比值。低阻抗 的音箱可以获得较大的输出功率，但阻抗太低 又会造成低音劣化等现象。 分为谐

9、波失真、互调失真和瞬态失真3种。 失真度 2.4 MIDI音频 MIDI是Musical Instrument Digital Interface (乐器数字接口)的缩写。MIDI 是一种国际标准，是计算机和MIDI设备之 间进行信息交换的一整套规则，包括各种 电子乐器之间传送数据的通信协议。 适用于长时间音乐演奏的场合。 1. 什么是MIDI MIDI音频是将电子乐器键盘上的弹奏信息 记录下来，包括键名、力度、时值长短等，是乐 谱的一种数字式描述。当需要播放时，只需从相 应的MIDI文件中读出MIDI消息，生成所需要的 声音波形，经放大后由扬声器输出。 合成器 扬声器 MIDI键盘MIDI接口音序器 1. 什么是MIDI 2. MIDI设备配置 3. MIDI文件的特点 MIDI设备就是处理MIDI信息所需的硬件设 备，其基本组成包括： 2. MIDI设备配置 (1). MIDI端口 (2). MIDI键盘 (3). 音序器(Sequencer) (4). 合成器 (1). MIDI端口 一台MID设备可以有一至三个MIDI端口，分 别称为MIDI In、MIDI Out、MIDI Thru。它们的 作用是： MIDI In：接收来自其它MIDI设备的MIDI信 息。 MIDI Out：发送本设备生成的MIDI信息到 其它设备。 MIDI Thru：将从MIDI In端口传来的信息 转发到相连的另一台MIDI设备上。 (2). MIDI键盘 MIDI键盘是用于MIDI乐曲演奏的，MIDI键 盘本身并不发出声音，当作曲人员触动键盘上的 按键时，就发出按键信息，所产生的仅仅是MIDI 音乐消息，从而由音序器录制生成MIDI文件。 (3). 音序器(Sequencer) 用于记录、编辑、生成MIDI的声音文件， 音序器有以硬件形式提供的，目前大多为软件音 序器。音序器可捕捉MIDI消息，将其存入MIDI文 件，MIDI文件扩展名为.MID。音序器还可编辑 MIDI文件。 (4). 合成器 MIDI文件的播放是通过MIDI合成器，合 成器解释MIDI文件中的指令符号，生成所需要 的

《第二章 多媒体音频技术(1)》由会员我**分享，可在线阅读，更多相关《第二章 多媒体音频技术(1)》请在金锄头文库上搜索。