QQ客服 官方微博 反馈留言

题名	基于因式分解机模型的非线性分类器设计
作者	刘晓龙
学位类别	工学硕士
答辩日期	2014-11-28
授予单位	中国科学院大学
授予地点	中国科学院自动化研究所
导师	刘成林 ; 张燕明
关键词	因式分解机模型 随机梯度下降算法 多项式分类器 支持向量机 Factorization Machines SGD PCA-PNC SVM
其他题名	A Nonlinear Classifier Based on Factorization Machines Model
学位专业	模式识别与智能系统
中文摘要	近几年，因式分解机模型成为推荐系统研究领域的一个研究热点，同时也是被广泛应用最主流的算法之一；它的显著特点是具有近似于多项式分类器的非线性分类性能，但其训练和预测的计算复杂度是线性的。在2011年，2012年和2013年的KDD-cup竞赛中，排名靠前的解决方案的组合预测策略中，基于因式分解机的模型起到了主要作用。 本论文针对经典的因式分解机模型，提出将其引入通用分类器设计。通过对因式分解机模型的特性研究，利用随机梯度下降算法，提出了基于因式分解机的通用分类器模型和相应的优化算法，并获得了逼近与多项式分类器的分类性能。 首先，本文从数据组织、模型分析和优化算法三个方面来详细描述和分析了因式分解机模型在推荐系统回归问题中的应用，总结了当前的因式分解机模型的一些研究成果和主要的研究方法与热点。 然后，针对因式分解机模型做出相应的修改，构造了一个通用的两类分类器，并介绍了具体的学习算法和工程实现。同时为了使因式分解机分类器取得更高的分类精度，加快学习速度和适应非平衡数据集下的学习，还对随即梯度下降(SGD)算法做出了相应的改进。 最后，本文在UCI和LIBSVM的多个数据集上，对因式分解机的分类性能进行了测试和评价，同时与子空间上的多项式分类器和支持向量机（线性核和多项式核）进行了比较，对因式分解机分类性能给出了客观的评价。并提出了在下一步针对因式分解机的研究中，有哪些可以关注的方向。
英文摘要	In recent years, the Factorization Machines (FMs) model has drawn a lot of attention in the field of Recommender System, and was implemented in many academic competitions and industrial applications. In the KDD-CUP of 2011, 2012, and 2013, the FMs model was widely adopted and yielded impressive performance. In this work, we propose an efficient classification method based on the FMs model. By training the FMs classifier with Stochastic Gradient Descent algorithm, we achieved comparable classification performance with the polynomial classifier. In this thesis, we first analyze the FMs from the points of data construction, model structure and learning algorithm, and summarize the main research achievements about FMs in recent years. Then, we apply the FMs model to classifier design by modifying the structure. To improve the efficiency and convergence of training for FMs classifier, we also modify the standard Stochastic Gradient Descent algorithm accordingly. We conduct extensive experiments on 11 data sets from the UCI Machine Learning Repository and LIBSVM datasets to evaluate the performance of FMs classifier, with comparison with the PCA-PNC (polynomial network classifier with dimensionality reduction by principal component analysis) and SVM (support vector machine) with linear and polynomial kernels. At last, we discuss the possible extensions of FMs classifier.
语种	中文
其他标识符	201128014628047
内容类型	学位论文
源URL	[http://ir.ia.ac.cn/handle/173211/7741]
专题	毕业生_硕士学位论文
推荐引用方式 GB/T 7714	刘晓龙. 基于因式分解机模型的非线性分类器设计[D]. 中国科学院自动化研究所. 中国科学院大学. 2014.

个性服务

查看访问统计

相关权益政策

暂无数据

收藏/分享

除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。