题名GANs 模型模式坍塌和训练不稳定问题的研究与优化
作者陈莹莹
答辩日期2021-05-20
文献子类硕士
授予单位中国科学院大学
授予地点中国科学院大学
导师侯新文
关键词生成对抗网络模型 模式坍塌 训练不稳定 SVGD 算法 QR 算法
学位专业计算机技术
英文摘要

近十年内随着算力和数据爆发式增长,人工智能领域掀起了深度学习的研究热潮。生成对抗网络模型(Generative Adversarial Nets : GANs)作为一类深度生成模型成为一个研究热点。在过去的几年里,生成对抗网络模型在数据生成、图像修复、图像分割、图像超分辨率等领域获得了巨大成功,凸显了生成对抗网络模型的巨大潜力。生成对抗网络模型是从有监督学习模型到无监督学习模型的一次良好探索,是实现通用人工智能过程中的又一重大成果。因此对生成对抗网络模型的研究具有重要的理论意义和应用价值。
生成对抗网络模型存在两个基本问题:模式坍塌和训练不稳定。模式坍塌问题表现为生成对抗网络模型倾向于生成单一的、相似的数据,生成数据多样性匮乏。训练不稳定问题表现为网络性能指标在训练过程中不断震荡,难以收敛。这两个基本问题制约了生成对抗网络模型的发展和应用。本课题围绕模式坍塌和训练不稳定两个问题展开研究。针对模式坍塌问题,我们使用生成数据的熵来反映样本多样性,提出利用Stein Variational Gradient Descent (SVGD)算法实现生成数据熵惩罚的Stein Wasserstein GAN (SW-GAN)模型。针对训练不稳定问题,我们基于生成对抗网络模型中概率距离度量不合理优化的分析,提出利用Quantile Regression (QR)算法实现生成对抗网络模型中Wasserstein-1距离最小化的Quantile Regression GAN (QR-GAN)模型。本课题以生成对抗网络的代表工作Wasserstein GAN为基线模型。通过在MNIST、CIFAR-10数据集上的多样性分析实验,验证了SW-GAN模型增加样本多样性的有效性。通过在CIFAR-10、STL-10、LSUN-Tower等通用数据集的上分析实验,展示了QR-GAN模型在生成数据质量以及多种优化算法间性能稳定两个方面的优越性。

本课题从GANs模型的两个基本问题出发展开研究,研究成果主要有两点:其一,针对生成对抗网络模型的模式坍塌问题,提出了利用SVGD算法实现生成数据熵惩罚的改进方案。解决了生成对抗网络模型中熵无法显式求解而导致熵惩罚无法实现的困境,提高了生成样本的多样性。其二,针对训练不稳定问题,将适用于一维随机变量的QR算法扩展至生成对抗网络模型中,提高了生成数据的质量和模型在多种优化算法下的稳定性。为生成对抗网络模型中Wasserstein-1距离的实现提供新的求解思路。

语种中文
页码88
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/44933]  
专题综合信息系统研究中心_脑机融合与认知评估
推荐引用方式
GB/T 7714
陈莹莹. GANs 模型模式坍塌和训练不稳定问题的研究与优化[D]. 中国科学院大学. 中国科学院大学. 2021.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace