信息论子空间学习及其在形状分析中的应用

CORC > 自动化研究所 > 中国科学院自动化研究所 > 毕业生 > 博士学位论文

题名	信息论子空间学习及其在形状分析中的应用
作者	赫然
学位类别	工学博士
答辩日期	2009-05-15
授予单位	中国科学院研究生院
授予地点	中国科学院自动化研究所
导师	胡包钢
关键词	信息论学习熵互信息子空间监督/非监督学习主动形状模型 Information theory information theoretic learning Entropy subspace learning Active shape model
其他题名	Information Theoretic Subspace Learning and its Application in Shape Analysis
学位专业	模式识别与智能系统
中文摘要	子空间学习是一种根据应用需要对高维数据进行降维处理和信息结构发现的学习方法。它寻找一种线性或非线性变换将高维空间的数据映射到低维的子空间中去以达到特定的数据处理目的。其理论和方法是机器学习中最重要的课题之一，已经广泛应用到模式识别，计算机视觉，信号处理，数据挖掘，人机交互，认知科学等多个学科。然而子空间学习仍有许多问题尚未解决。本文探讨了一个基于信息论的子空间学习（Information Theoretic Subspace Learning，ITSL）框架，深入分析了基于信息论的子空间监督与非监督学习，以及子空间学习的一个主要应用―主动形状模型算法(Active Shape Model，ASM)。论文主要贡献总结如下： 1 在监督ITSL中，本文提出了一个新的基于非参数Renyi二次熵的子空间学习目标函数，讨论它的理论特性并给出了一个近似算法。当使用拉格朗日乘子法把条件熵约束加入目标函数中时，并且拉格朗日乘子设置成1时，目标函数变为互信息，线性判别分析(Linear Discriminant Analysis，LDA)算法提供了该互信息的一个下界。和传统的子空间监督学习算法相比，新算法能取得一个更好的正确分类率并具有较好的鲁棒性。 2 在非监督ITSL中，提出了一种最大熵主成份分析算法。它以最大化非参数Renyi二次熵为目标，具有对噪声鲁棒，能有效地描述任意数据分布等优点。指出了非参数Renyi二次最大熵问题实际上是一个非线性特征分解问题，并提出了一个子空间迭代算法去求解这个非线性问题。实验分析显示了该算法优于基于L2和L1范数的主成份分析方法。 3 提出了一种基于最小熵的ITSL嵌入算法。它以最小化基于高斯混合模型的Shannon熵为目标，试图去学习一个低维空间来消除数据冗余。给出了一个基于高斯混合模型的Shannon熵的上界，并根据该上界，提出了一个基于特征值分解的算法用来近似求解该最小熵问题。实验结果显示，该方法具有更好的鲁棒性和消除数据冗余的能力。 4 提出了一种在线的基于几何约束的主动形状模型，使用容易准确检测的点构成一个固定形状，并把它加入原来的ASM中用来约束形状的变化。同时，一个基于贝叶斯推理的由粗到精的形状搜索策略被用来正则化学习到的形状参数，它首先调整大的形状变化，然后调整形状的细节。实验结果显示该方法能有效提高定位准确性。 5 提出了一种离线的基于稀疏表示的主动形状模型（Sparse ASM，SASM），讨论了如何让机器选择一组最优基形状去近似一个输入的给定形状，并且使ASM的参数估计更加鲁棒。形状表示问题被描述成一个带有噪声项的L1最小化优化问题，使形状参数估计更加鲁棒。同时，姿态参数估计问题也被描述成L1最小化问题。实验结果显示新算法比贝叶斯算法具有更好的鲁棒性。
英文摘要	Subspace learning desires to learn a low dimensional representation or an intrinsic structure from a high dimensional feature space. It learns a linear mapping or nonlinear mapping to translate the high dimensional data into a lower dimen sional subspace for specific purpose. The theory and methods of subspace learning have been active issues in machine learning. It has been widely used in pattern recognition, computer vision, signal processing, data mining etc. However, there are still many interesting and challenging problems. In this thesis, we study the subspace learning from the view point of information theory and discuss the basic properties and algorithms of information theoretic subspace learning (ITSL). We also focus on a major application of subspace learning: active shape model (ASM) and develop new methods to improve alignment accuracy. The main contributions of this thesis are as follows: 1 In supervised ITSL, we focus on a new objective function based on nonparametric Renyi quadratic entropy. We discuss the theoretic properties of the new objective and propose an approximate algorithm to solve it. When the constraint of conditional entropy is added to the objective and the Lagrangian multiplier is set 1, the objective function becomes mutual information and linear discriminant algorithm provides a lower bound of it. Compared with traditional discriminant subspace methods, the new method can achieve a higher accuracy and robustness. 2 In unsupervised ITSL, a robust principal component analysis is developed based on nonparametric Renyi quadratic entropy. It is robust to noise and has no distribution assumption. We find that the solution of proposed method is a nonlinear eigen decomposition problem so that a gradient based subspace iteration algorithm is proposed to solve the objective function. Experimental results illustrate the new method outperforms both L1 and L2 Principal Component Analysis(PCA). 3 A minimum entropy embedding algorithm based on Gaussian mixture models is proposed to explore intrinsic structure of the high dimensional data. Based on a upper bound of the objective function, an eigen decomposition method is proposed to approximately solve the objective. Experimental results show that the new method can learn an e±cient subspace to represent the high dimensional data and reduce redundance. 4 A predefined geometry shape is taken as a constraint for accurate online shape alignment. A shape model is divided in two part...
语种	中文
其他标识符	200518014628055
内容类型	学位论文
源URL	[http://ir.ia.ac.cn/handle/173211/6144]
专题	毕业生_博士学位论文
推荐引用方式 GB/T 7714	赫然. 信息论子空间学习及其在形状分析中的应用[D]. 中国科学院自动化研究所. 中国科学院研究生院. 2009.