视频结构化索引和检索研究与实现.pdf

I华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 摘摘 要要 伴随着信息时代的来临，多媒体视频数据与日剧增，已经成为各类信息系统的主要数据来源然而由于视频本身所具有的线性和非结构化数据形式，如何对海量视频搜索出用户感兴趣的视频片段已成为一大挑战视频检索的研究正好适应了这种需求视频结构化索引和检索以影片视频为研究对象，通过对视频内容进行计算机处理、分析和理解，将视频数据结构化，建立视频针对镜头和场景的目录以及索引，并建立视频数据库，针对用户输入的查询条件进行图像和视频片段的检索，方便用户获取所需要的信息 视频结构化索引和检索采用基于颜色特征和运动特征相结合的方法，提取镜头的关键帧集合，组建视频结构化各逻辑层次的特征库，为视频索引和检索提供基础首先，对视频逻辑分层，使视频内容视频结构化，其中包括量化 HSV 颜色空间主要数据模块，利用直方图交集法快速的检测镜头切分并提取镜头边界；对多种关键帧提取算法进行比较研究，给出了一种新的基于内容分析和运动特征相结合的关键帧提取算法；对基于滑动窗口的镜头聚类算法进行研究，实现基于双向滑动窗口的镜头的聚类其次，建立基于视频的颜色特征库、视频的镜头关键帧集合库，创建整部视频关于场景、镜头、帧的目录索引，方便用户浏览视频，并实现同一部视频中的场景、镜头、帧的相似性查找。

最后，针对不同类型的查询镜头和关键帧代表帧以及目录索引进行了检索测试，并进行了试验结果的分析比较，测试分析表明视频结构化索引和检索所采用算法均达到预期效果 关键词：关键词：视频结构化分析，视频结构化索引，视频结构化检索 II华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 Abstract With the advent of the information age, multimedia video data is on the rapid increase, and it has become the main data sources of various types of information systems. However, as the video data has the form of linear and unstructured feature, it is not convenient for users browsing, editing and retrieval. Video retrieval is adapted to meet the user’s need. Research and implementation of video structure index and retrieval technique is content to film video and changes the video into the hierarchical structure, form the scene and shot directory of a input video, and extract the characteristic of the video to form the video database by computer processing, analyzing and comprehending the video object. And after all these, users just input the query by visual example and computer will find the video object automatically. And with the Video structure index and retrieval technique, people can browse video structure directory such as video frame, video shot, and video scene conveniently. Research and implementation of video structure index and retrieval system use the features both from the color and motion to strengthen the description of shot key frames, in order to boost the precision of video structure analysis and representative of video index and retrieval. First, do logic levels for linear and unstructured video, to form structure video content, these includes: define HSV color space model, set threshold to detect shot boundary; research and compare key frame extract algorithms, use both boundary key frame extract and optical flow features to extract key frames of the video shot; research the shot assort based on distances between key frame set, analyses the shot clustering algorithm based sliding windows, and make program to realize shot clustering algorithm based both-way sliding windows. Second, build the video characteristic repository, include frame features of color and motion, frame set about shot boundary and scene boundary, and subtext. Establish the directory index about video frames, video shots, and video scenes, and after all these users can browse and see the video framework and can input the video content object to find video object all they want in the video they look. At end of the paper, we do experiment about the pictures people input retrieval and directory based retrieval, analysis and compare the result. The results show that the algorithms have better results. Key words: Video structure analysis, Video structure retrieval, Video structure index 独创性声明独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。

尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明本人完全意识到本声明的法律结果由本人承担 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文 保密□， 在 年解密后适用本授权书 不保密□ （请在以上方框内打“√” ） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日本论文属于 1华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 1 绪论绪论 1.1 研究背景及意义研究背景及意义 最近几年，随着对海量信息网络传输速度的提升、计算机对多媒体数据处理能力的增强、以及多媒体技术的改进和广泛应用，使得多媒体数据成为人类获取信息的主要渠道和关注焦点。

而视频数据是多媒体数据的主要表现形式，它不仅可以记录所拍摄的各种对象的颜色、形状、纹理、运动[1]等信息，而且可以附加声音、文字说明、图标、字幕等，更以人眼可见的形式将所有信息记录下来以上优点促使视频数据在人类社会各个领域占有越来越重要的地位面对非结构化的海量视频数据，人们迫切需要寻求一种途径来从中搜索出有价值的视频信息，基于各种特征的视频检索应运而生 传统的视频检索主要是基于人工添加关键词描述的视频检索，以及通过人工快退、快进、时间点指定来进行查找等这种传统的半自动检索方式得到了广泛的应用，如 Google 视频以及优酷视频等采用关键词匹配来进行视频检索，但是采用这种方式搜索一段用户指定的视频，会有很多与指定视频内容无关的检索结果出现，极大的浪费了用户查找时间 近几年，为了克服传统视频检索的弊端，人们开始了对基于内容的视频分析和检索技术进行研究基于内容的视频分析和检索技术将视频内容结构化分层，利用计算机编程自动提取图像色彩、纹理、形状、运动等底层视频内容特征[1]，并提取场景等语义特征[2]来构建视频的索引，计算查询视频和目标视频的相似距离，按照相似度匹配进行检索 基于内容的视频分析和检索技术是现在和未来视频检索技术研究热点，它必将取代基于文本的视频检索或者和基于文本的视频检索技术相结合，从而成为新一代网络视频检索工具，满足用户对多媒体视频的查询需求[3]。

另外可以对一部影片建立基于镜头、场景索引，用户可以从冗长的影片中找到具有完整语义的，符合自己需要的影片片段而且通过对基于内容的视频分析和检索研究可以实现提取自动提取简短的精彩视频片段剪辑，这样用户仅需要观看其中部分内容，即可决定整部影片2华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 是否值得详细欣赏 1.2 国内外研究概况国内外研究概况 由于多媒体视频数据的广泛应用，以及其自身反映信息的直观、丰富性，多媒体视频数据检索检索技术已成为众多学者的研究对象基于文本的视频检索技术已经比较成熟，并广泛应用在各种视频检索类网站而由于视频自身所携带内容的多样性、复杂性以及其自身语义特征，基于内容的视频检索仍然处于研究阶段，目前尚未有查准率和查全率均较高的基于内容的视频检索系统研发出来，可见实现比较理想的视频检索系统还需要很长的路要走以下是研发出的几个基于内容的视频检索系统： （1）QBIC 系统 QBIC[4]系统是由 IBM Almaden 研究中心研发的一种图像检索软件系统模型， 它为用户提供基于视频帧图像所有底层特征的检索用户可以选择自己需要的查询模式进行视频图像的检索，例如：用户可以使用系统所提供的示例图像。