视频获取与处理技术课件.ppt

–4.3.3 视频采集卡工作原理 视频采集卡工作原理如右图可分成6个主要部分包括TV-coder功能 视频获取与处理技术视频获取与处理技术•1.A/D变换和数字解码–TDA8708/TDA8709接收摄像机、录像机等彩色电视信号，转换为8位数字信号–数字信号经SAA7191数字式多制式解码器，输出YUV信号–YUV输出根据不同的采样有固定格式•2.窗口控制器－Pc-Video–窗口控制器芯片82C9001A用于视频的获取、叠加、显示–PC总线接口：主机访问Pc Video内部功能由这部分控制，如帧存储器地址映射、帧存储器读写等–视频获取与比例变换：场选择、输入窗口的大小定义、视频数据比例变换比例范围可以是原图的1/64-64/64改变比例靠周期性地减少象素和扫描行实现视频获取与处理技术视频获取与处理技术•VRAM读写、刷新控制：视频获取输入和主机读写都是通过VRAM的随机读写端口，需进行访问和选体控制•输出窗口VGA同步、色键控制部分：驱动帧存储器的数据同VGA的视频信号同步读出，以实现捕获视频与VGA信号的叠加视频获取与处理技术视频获取与处理技术•3.帧存储系统–从视频源采集到的信号，经A/D变换、数字解码，在窗口控制器的控制下，存入帧存储器。

74ns/象素–显示系统每隔74ns从帧存储器取一个象素，供VGA实时显示/或叠加显示–计算机可以通过视频窗口控制器，对帧存储器的内容读写如进行压缩编码处理、发往信道传输等–目前技术采用双体存储器，即顺序的两个象素打入两个存储体，以缩短存取时间•4.数模转换和矩阵变换–D/A转换器SAA9065把YUV数字信号转换为模拟信号，TDA4680把YUV信号变换为RGB信号视频获取与处理技术视频获取与处理技术•5.视频信号与VGA信号叠加–采集来的视频信号是经PC Video同步处理的，与VGA信号完全同步–使用交替切换两路信号即可实现信号叠加–该电路使用74HCT4053模拟开关电路实现•6. 数字式多制式视频信号编码：TV-Coder–将视频采集信号和VGA信号叠加–再转换为某种制式的电视信号–编码器芯片为SAA7199视频获取与处理技术视频获取与处理技术–4.3.4 DSP技术•计算机获取图像后，其中一个重要应用是进行处理如图像识别、压缩、图像增强等这些处理需进行大量的数学运算，如：–点处理：常用于对比度增强、密度非线性校正、阈值处理、伪彩色处理等处理方法是对象素数据实施数学变换如对数变换，可实现暗区对比度扩张。

–二维卷积运算：常用于图像平滑、尖锐化、轮廓增强、空间滤波、模板匹配等若用MxM卷积核矩阵对一幅图进行卷积时，每个象素的输出需MxM次乘法和MXM-1次加法–二维正交变换：如FFT、DCT和K-L变换等用于图像增强、复原、数据压缩等视频获取与处理技术视频获取与处理技术–坐标变换：常用于图像放大、缩小、旋转、移动等–统计量计算：如计算密度直方图、均值、协方差矩阵等用于K-L变换、图像分割等•图像的上述处理都是十分复杂的例子： 装配机器人视觉系统，其识别零件的理论和算法都已解决，但处理一幅512X512X8bit的图像，把零件与其背景、零件和零件分割出来，算法中使用3X3卷积运算，对应25fps的实时处理，需512*512*9*2*25/s=118MOPS要求CPU速度10-100倍，即1180-11800M,运算速度要求惊人•解决办法：大型机、小型高速阵列机和专用处理芯片(DSP)DSP是最经济的方案它牺牲了计算机的通用性，针对视频信号二维向量特点及大量的向量乘、加运算，专门设计，直接用硬件实现算法(如卷积运算、DCT变换等),不采用Von Neumann结构,而采用HARVARD结构。

视频获取与处理技术视频获取与处理技术•DSP的结构–DSP使用VLSI技术，是一种集成度很高的数字信号处理器芯片，主要用于图像、语音等的信号处理，自1987年以来，DSP产品越来越多，应用也越来越广泛–DSP采用一种非Von Neumann结构－HARVARD结构典型的HARVARD结构使用双体存储器，分别保存数据和指令(程序),通过独立的总线从分离的存储器中并行地取指令和数据–使用了HARVARD结构的DSP，一个时钟周期就可完成一般微处理器需25个时钟周期完成的一次乘法运算–DSP一般使用更灵活的、适合二维向量处理的流水线结构如INMOS公司的卷积芯片A110，21个加法器可组成NXM结构，以适应不同的卷积核视频获取与处理技术视频获取与处理技术•DSP举例①INMOS公司的A110卷积器做3X7卷积，卷积系数矩阵为Cij,I=1,2,3;j=1,2,…7，如图所示的二维流水线结构流水线冲满时一个时钟脉冲即可输出一个卷积结果：视频获取与处理技术视频获取与处理技术②C-Cube公司的CL450 MPEGⅠ解码器它有自己的CPU和DRAM，DRAM里是用于解码的微程序主机通过主机接口向CL450发送压缩数据流和宏命令。

视频获取与处理技术视频获取与处理技术③Creative 公司的专用音频DSP该DSP带有自己的CPU、RAM和EPROM，存放声音处理(I/O)、ADPCM编/解码程序和中间运算结果主机Memory和DSP之间使用DMA方式传送数据 DMA:Direct memory Access,直接数据存取计算机与外部设备之间的数据传输有两种方式，一种是通过CPU把数据从存储器(RAM)/外部设备读出来，写到外部设备/存储器中另一种是利用专门DMA芯片，CPU一旦启动DMA控制器，存储器和外部设备间的数据传输工作就由DMA负责，CPU不介入，数据传输完后报告CPU，让CPU去处理传输结果视频获取与处理技术视频获取与处理技术•4.4 多媒体显示系统–4.4.1 显示系统的组成•显示系统由显示器(monitor)和显示适配器(Adaptor)组成•显示器主要由CRT(阴极射线管)和控制电路组成用于笔记本的电脑显示器则是平板型的液晶显示器(LCD)•显示适配器是一块插入PC扩展槽的卡(称显示卡、显示板)，或集成在主板上，由视频存储器(VRAM和ROM BIOS)、控制电路、具有DA转换功能的调色板等组成。

第四章 多媒体硬件视频获取与处理技术多媒体显示系统•显示器与适配器应该配套使用如果显示器只支持VGA模式，那么花很多钱购买的SVGA适配卡就无意义•PC显示技术经历了4个主要发展阶段，它们是：–第一代标准(1981)：MDA和CGAMDA(Monochrome Display Adapter)是单色显示适配器，只能显示80X25字符CGA(Color Graphics Adapter)是彩色图形适配器，能显示字符和图形，显示分辨率为640X200(2种颜色)或320X200(4种颜色)–第二代标准(1984)：EGA(Enhanced Graphics Array)增强型彩色图形适配器分辨率为640X350，16种颜色(调色板有64种颜色)兼容MDA和CGA的各种显示方式–第三代标准(1987):VGA(Video Graphics Array)与EGA兼容，分辨率为640X480、16色或320X200、256色使用256K种颜色的调色板，输出RGB模拟量必须配模拟显示器视频获取与处理技术–第四代标准(1990)：XGA(Extended Graphics Array)、SVGA(Super VGA),支持分辨率1024X768、256色或640X480、65K种颜色。

XGA引入了16位真彩色工作方式，不用调色板16为的分配为：5位红、6位绿、5位蓝XGA还具有扩展的图形功能，通过图形协处理器快速执行画专用线、填充区域、象素块传送、剪裁等功能•显示器类型主要是是否平面直角、是否多同步显示及输入信号是数字还是模拟等 从显示器的扫描角度讲，显示器有固定频率和可变频率两类1985年前，CGA、EGA等显示卡配置的显示器都是固定频率的，一种显示器只有一种扫描频率，只能与一种显示卡相匹配目前的显示器大部分具有多频同步能力多媒体显示系统视频获取与处理技术–4.4.2 显示系统基本概念•屏幕尺寸指显像管尺寸(Tube size)，是CRT表面的物理尺寸，即对角线的长度，与电视的概念相同如果在1024X768或更高的分辨率下进行工作，应使用17英寸以上显示器• 荫罩和点距荫罩(Shadow)是安装在荧光屏内侧的上面刻有数万个小园孔(荫罩孔)的薄钢板，又叫孔眼掩模彩色显示器使用三个电子枪，荫罩孔的作用在于保证三个电子束共同穿过同一荫罩孔，准确地激发红、绿、蓝荧光粉每个荫罩孔对应一个荧光粉点组荫罩孔间的距离定义为点距(Dot Pitch)，它限制了屏幕显示的最高分辨率。

多媒体显示系统视频获取与处理技术 一般情况下，一个象素覆盖多个荧光粉点组一个象素对应一个荧光粉组时，显示达到最高分辨率 显示器和彩色电视的原理完全相同，区别就在于荫罩和所涂荧光物不同显示器和电视的分辨率用点距来衡量，由于电视的分辨率规格不多，为0.76mm，所以很少谈及电视分辨率显示器分辨率规格很多，分辨率从0.41→0.38 →0.35 →0.31 →0.28 →0.26mm，目前大多为0.28mm显示器的价格主要体现在点距上多媒体显示系统视频获取与处理技术•荧光粉类型及闪烁电子束打在荧光粉上，荧光粉发光并持续一段时间只要持续余辉的亮度不低于原来的90%，人的视觉系统基本感觉不到变化余辉消失前荧光点必须再次被激发(称为刷新)，否则显示消失或出现闪烁消除闪烁的方法：提高刷新频率→技术成本高；延长荧光粉余辉时间→引起“ 拖曳”现象；减少亮度→显示表现层次不丰富•扫描频率–水平扫描频率(Horizontal scan Rate)，是电子枪在屏幕上写一行点的频率，以Khz表示如31.5Khz指1秒写31.5千行–垂直刷新频率(Vertical Refresh Rate)，是指整个屏幕重写(刷新)的频率。

刷新频率不够会引起屏幕闪烁一般应≥72HZ刷新速度与颜色数和分辨率有关，高分辨率下可能不能提高刷新频率多媒体显示系统视频获取与处理技术•隔行扫描和逐行扫描是荧光粉被刷新的方式隔行扫描方式，显示器在每遍扫描时隔一行更新一行数据，更新整个屏幕需要两遍扫描逐行扫描方式，扫描时逐行更新数据，一遍扫描即可完成全部数据更新隔行扫描方式实现便宜，但显示不够稳定目前大多数显示适配器器都采用逐行扫描电视使用隔行扫描•VRAM显示缓冲区与颜色定义在显示适配器上，有一块存储器，用于存放显示时对应的格式数据，称为视频存储器(VRAM)或显示缓存PC系统有两种显示模式-字符模式和图形模式，Windows下应用都是图形模式VRAM存放的是显示器上的每个象素点的颜色或灰度值矩阵的线性地址存放屏幕上一个象素的颜色数由VRAM中相应比特数决定多媒体显示系统视频获取与处理技术如能显示16种颜色的模式一个象素4bit，640X480的分辨率共需640X480X4/8=153.6KB的显示缓存800X600分辨率、256色需480KB显示缓存因此，显示缓存较大的显示卡，可支持颜色数和分辨率较高显示缓存大，剩余部分可以存放字符属性、推拉式菜单等数据，加速显示速度。

•模拟信号接口和数字信号接口显示器与显示适配卡之间的连线信号形式有两种：数字信号和模拟信号当使用数字信号时，两条信号线2^2=4可表示4种颜色，4条信号线2^4＝16可表示16种颜色等可见，数字信号接口一方面接口不规范，另一方面随颜色数增多，所需信号线太多CGA、EGA显示系统采用9针数字接口VGA以后的显示系统均使用15针模拟信号接口，只要RGB3条信号线即可传递全部颜色信号，每个信号线电压0-5V无穷级可变，可以获得无限颜色数多媒体显示系统视频获取与处理技术•总线类型–显示适配卡是插在主机主板上工作的，因为要不断绘制和刷新计算机屏幕上的象素点，主机必须处理几百万个数据，通过总线传送到显示适配卡的VRAM中–不同的主板扩展槽，或者说显示适配卡与主机不同的数据传输方法(总线)，使得主机向显示器传送数据的速度不同，价格也不同显卡总线要与主板扩展槽总线适配–在AT/ISA总线的计算机上运行Windows速度非常慢，这是因为数据要通过一个16位通道从CPU传送给显示器，速度为1.5M-3MBPS今天的计算机已经使用32位或64位总线传输数据了，速度也大大提高–VESA总线：1991－1994年在486和奔腾机上使用。

速度为132MBPS–1993年,Intel推出新标准PCI (Peripheral Component Interconnect,外围设备互连)总线，总线宽32/64位，速度132MB-264MB而且采用异步工作方式目前大部分机器使用PCI多媒体显示系统视频获取与处理技术。