基于视觉内容相似性的视频片段自动定位关键技术研究与应用

CORC > 自动化研究所 > 中国科学院自动化研究所 > 毕业生 > 博士学位论文

题名	基于视觉内容相似性的视频片段自动定位关键技术研究与应用
作者	王方圆
学位类别	工学博士
答辩日期	2013-06-01
授予单位	中国科学院大学
授予地点	中国科学院自动化研究所
导师	张树武
关键词	视频片段定位视频拷贝检测近似重复视频检索广告视频检测 video clip identification video copy detection near duplicate video retrieval commercial video detection
其他题名	Key Technologies Research and Application for Video Clip Automatic Identification Based on Visual Content Similarity
学位专业	模式识别与智能系统
中文摘要	基于视觉内容相似性的视频片段定位作为视频内容智能分析的一项关键技术，能够辅助人们完成视频定位检索、挖掘等任务，在广告视频定位统计、视频版权追踪、网络视频检索等领域具有广阔的应用前景，是国内外众多学者研究的一个热点。针对视频片段定位的相关研究，多集中在增强算法对各种拷贝变换攻击的鲁棒性方面，而对于如何提高算法执行效率的研究相对较少，尤其在目标视频为未分割长视频情况下，尚缺乏有效的快速定位算法。本文围绕目标视频为未分割长视频情况下的视频片段快速定位问题，根据全拷贝视频片段定位检索、部分拷贝视频片段定位检索、重复视频片段定位挖掘三种不同应用场景的具体特点，分别对其快速定位算法展开了深入研究。本文的主要贡献包括： 1.针对全拷贝视频片段定位检索问题，提出了一种基于时空灰度序特征的全拷贝视频片段定位算法。该算法的核心思想在于：(1)在精确定位之前，通过引入线性时间复杂度的基于时空二值模式直方图特征的实时预定位算法以及基于二值时间灰度序特征的快速预定位算法，大幅减少了精确定位阶段需要处理的候选视频片段的个数；(2)在精确定位阶段，通过引入一种判别能力更强且保持较好鲁棒性的时空统一灰度序特征进行序列匹配，在保持较高召回率的前提下，进一步提高了全拷贝视频片段定位的精度。实验结果表明该算法对于存在轻微拷贝攻击下的全拷贝视频片段的定位检索问题，在进一步提高定位检索精度的同时，大幅减少了定位检索的平均响应时间。 2.针对部分拷贝视频片段的定位检索问题，提出了一种基于时空约束极大连通区域的部分拷贝视频片段定位算法。该算法的核心思想在于：(1)在精确定位之前，根据视频片段仅为部分拷贝的特点，引入了基于局部二值模式直方图部分匹配的预定位算法和基于最长公共子串的预定位算法，对候选视频片段进行快速预过滤；(2)在精确定位阶段，通过引入对时序编辑鲁棒的时空约束极大连通区域检测查询视频片段与候选视频片段之间视觉内容相似度和时序相似度较高并且关键帧序列匹配长度较大的所有拷贝视频子片段，然后进一步利用时序约束关系选择合适的视频子片段组成最终的部分拷贝视频片段。实验结果表明该算法能够很好的解决存在轻微拷贝变换攻击情况下的部分拷贝视频片段定位检索问题。 3.针对重复视频片段的定位挖掘问题，提出了一种基于空间约束灰度级矩阵与类哈希索引结构的重复视频片段定位挖掘算法。该算法首先利用计算复杂度低且判别能力强的空间约束灰度级矩阵特征表示视频关键帧；然后，将近似重复视频关键帧检测问题转换为类哈希索引结构的构造问题；最后，利用类哈希索引结构保存的近似重复视频关键帧和时序约束信息，在线性时间复杂度内完成连续近似重复视频关键帧的合并，实现重复视频片段的定位挖掘。实验结果表明，该算法能够在保持较高定位挖掘精度的同时，显著提高重复视频片段定位挖掘的执行效率。 4.结合广告视频定位统计、内容审核等方面的具体需求，在广告内容审核系统中应用本文上述三项关键技术，能够实现为指定广告、指定电视台或某些违反广告播出条例的情况提供监管服务，以...
英文摘要	As a key technology of video content intelligent analysis, video clip identification based on visual content similarity can assist people to identify copy clips or mine repetitive clips from long videos. Due to its great potential in applications of video commercial identification, video copyright tracking and web video search etc.,video clip identification attracts more and more attentions from many researchers. Nowadays, most of existing researches focus on the enhancement of the robustness of algorithm to make it tolerate various copy attacks. However, there are relatively few works on how to improve the efficiency of identification, especially for the case of identification in long target video. To address the efficiency problem of video clip identification in long target video, according to the distinguishes of different applications, we mainly focus on the research of efficient identification approaches for full copy video clip identification,partial copy video clip identification and repetitive video clip mining. The main contributions of this thesis are as follows: 1.For full copy video clip identification, we propose a full copy video clip identification algorithm based on spatio-temporal ordinal measures. Its key ideas are as follows:(1)Before the accurate identification, it introduces a real-time pre-identification method within linear-time complexity based on Spatio-temporal Binary Pattern Histogram (STBPH) and a fast pre-identification method based on Binary Temporal Ordinal Measure (BTOM) to filter out most candidate video clips in long target video;(2) For the accurate identification, it introduces a Joint Spatio-temporal Ordinal Measure (JSTOM) which is more discriminative compared with existing ordinal measures to further improve the overall precision.Experimental results show that our approach can further improve the accuracy of full copy video clip identification with weak copy transformations existing, while achieve much better efficiency. 2.For partial copy video clip identification, we propose a partial copy video clip identification algorithm based on spatio-temporal constrained-maximum connected area. Its key ideas are as follows: (1)Before the accurate identification, it introduces a suitable pre-identification procedure for partial copy video clip identification consists of the pre-identification method based on Local Binary Pattern Histogram-Partial Match(LBPH-PM) and the pre-identification method based on Longest Common S...
语种	中文
其他标识符	201018014628061
内容类型	学位论文
源URL	[http://ir.ia.ac.cn/handle/173211/6553]
专题	毕业生_博士学位论文
推荐引用方式 GB/T 7714	王方圆. 基于视觉内容相似性的视频片段自动定位关键技术研究与应用[D]. 中国科学院自动化研究所. 中国科学院大学. 2013.