CORC  > 自动化研究所  > 中国科学院自动化研究所  > 毕业生  > 博士学位论文
题名弱监督条件下的视觉场景解析方法研究
作者樊峻菘
答辩日期2022-05
文献子类博士
授予单位中国科学院大学
授予地点中国科学院自动化研究所
导师谭铁牛 ; 张兆翔
关键词弱监督学习 视觉场景解析 语义分割 全景分割
学位专业模式识别与智能系统
英文摘要

视觉场景解析任务在计算机视觉研究领域中具有重要的意义。它致力于对视觉图像做出像素级的精确判别,从而赋予计算机对现实世界基于视觉图像的精细化感知与理解能力,在自动驾驶系统、机器人视觉导航、遥感图像分析等领域都具有重要的应用价值。近年来,深度学习技术的快速发展带来了一大批处理视觉场景解析任务的算法模型。然而,为了在实际应用场景中取得可靠的性能表现,这些模型通常需要针对不同的应用场景,设计取得大量的、像素级的人工精细标注进行训练。这种对大量精细标注的需求造成了对专业人工劳动的高度依赖,带来了数据获取时间和经济上的高昂成本,阻碍了基于深度学习的视觉场景解析模型在新场景任务下的快速部署应用。为了缓解样本标注代价过大的问题,研究者们提出了利用弱监督标注进行视觉场景解析模型训练的学习范式。典型的弱监督标注包括图像类别标注、目标框标注、稀疏的点线标注等。相比于像素级的精细标注,这些粗略的弱监督标注更易获取,可以有效减少取得训练样本所需的人工标注代价。但同时,由于缺少精确的监督信息,在处理像素级的视觉场景解析问题时,弱监督方法也面临着目标部分缺失、类别混淆等诸多挑战。为此,本文的研究工作从以下四个方面递进展开,探讨如何在弱监督条件下更好地有效挖掘利用数据信息,提升弱监督模型处理视觉场景解析任务的能力,其主要创新点包括:


- 提出基于单图像类内信息判别的弱监督视觉场景解析方法,有效缓解了基于图像标签的弱监督方法中目标分割不完整的问题。图像标签的弱监督语义分割通常依赖分类器模型的类别显著性来提取目标的位置、尺度信息。而受限于分类任务只关注不同图像、类别间差异的特性,该类方法往往只能得到最具辨识度的局部目标分割结果。为此,本文提出一种类内判别器的方法,关注单一图像内部像素点间的差异,排除类间差异显著性带来的干扰,从而有效缓解上述局部响应问题并带来更完整的目标分割结果。
- 提出基于多图像跨图信息传递的弱监督视觉场景解析方法,挖掘数据中潜在的样本间关系信息以弥补弱监督信息不足的问题。该工作首次提出了利用图像间关系信息辅助弱监督语义分割模型训练的思想,并通过建模不同图像像素点间的关联度,在训练阶段实现跨图信息的传递和共享,协同利用多幅图像获得一致性更好的特征表达,提升弱监督模型的训练效果。
- 提出基于多元目标集成的弱监督视觉场景解析方法,综合利用多种方法、多种模型挖掘潜在监督信息,以实现在弱监督条件下更充分的信息发现和利用。该工作分析弱监督伪标签估计的不唯一性,发现多种目标估计具有一定的信息互补性,进而提出协同使用这些多元目标估计进行弱监督模型训练的方法,借助深度模型的鲁棒性和噪声自适应策略从多元目标中有效提取互补信息,得到相比于单目标训练显著更优的结果。
- 提出面向多类型弱监督信息的视觉场景解析方法,研究如何结合目标类别和空间位置信息的弱监督标注实现复杂场景任务下的弱监督解析。该部分研究利用点标签为监督信息载体,协同处理语义和实例判别任务,在弱监督条件下实现了性能良好的全景分割模型训练。该方法提出一种基于转移代价度量的框架,通过建模相邻像素点间的转移代价,统一地处理视觉场景解析任务中的语义判别和实例判别问题,有效地实现弱监督条件下的全景分割模型训练,在大规模数据集上取得领先的结果。

 

总的来说,针对弱监督的视觉场景解析问题,本文工作首先展开对单图像条件下弱监督信息利用机制的研究。之后,依次从数据和模型的角度,展开对潜在监督信息挖掘的方法研究,分别提出基于多图信息传递、多元目标集成的弱监督视觉场景解析方法。最后,本文研讨如何利用类别、空间位置的多种弱监督信息完成复杂的视觉场景解析任务,实现弱监督下的全景分割。本文所提出的方法对比同期工作,均具有显著的性能提升,在领域内通用的评测数据集上达到领先的性能指标,能够有效地缓解弱监督视觉场景解析中面临的分割目标缺失、类别混淆等问题,具有很好的学术创新意义和实际应用价值。

语种中文
页码136
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/48926]  
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
樊峻菘. 弱监督条件下的视觉场景解析方法研究[D]. 中国科学院自动化研究所. 中国科学院大学. 2022.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace