题名脑电情绪识别中跨被试迁移学习方法研究
作者李劲鹏
答辩日期2019-05
文献子类博士
授予单位中国科学院自动化研究所
授予地点中国科学院自动化研究所
导师何晖光
关键词脑-机接口,情绪识别,深度学习,迁移学习,领域自适应,对抗训练
学位专业模式识别与智能系统
英文摘要

情绪识别有助于构建更加友好的人机交互系统,并在安防领域及多种精神疾病的诊断、治疗和康复中扮演重要角色。与基于表情、动作和语言的传统方法相比,基于脑电(Electroencephalogram,EEG)的情绪识别更加稳定和可靠。然而,不同被试的EEG数据分布差异大,通用模型的泛化能力有限,情绪识别模型往往需要针对每个被试分别获取,这极大限制了情绪识别的便利性。

本文从机器学习的角度出发,试图解决EEG情绪识别模型的跨被试适配问题,即在新被试缺乏带标签样本的情况下,如何结合来自过往被试的信息获得可靠的情绪识别模型。根据新被试数据标注情况的不同,我们分别提出了监督式、半监督式和无监督式迁移学习策略。论文的主要工作和创新点归纳如下:

1. 基于深度学习的高精度的情绪识别

传统做法一般是将多通道EEG数据中提取到的特征拼接为特征向量,再使用机器学习方法建立特征向量到情绪标签的映射。然而,这种方法并没有直接考虑电极之间的相互关系。为了使模型纳入和使用更多有用的信息,我们设计了一个保留电极摆放拓扑关系的卷积神经网络,其浅层在多个位置上挖掘相邻电极的局部响应模式,深层则负责综合全脑的情绪相关特征。该方法兼顾了电极的局部响应模式和全局响应模式。结果表明,我们提出的方法优于传统的方法,可基于低信噪比的EEG数据实现高精度的分类。在上述工作的基础上,我们使用新被试的少量带标签样本,通过神经网络微调的方法实现模型的跨被试适配。

2. 提出了一种多源迁移学习框架

我们将新被试的脑电分布视为目标域,所有过往被试的数据都可以作为知识源。针对目标域中有少量带标签样本,但其数量不足以训练具备良好泛化性能的分类器的场景,我们提出了一个多源迁移学习框架。该框架主要包括两个步骤,第一步是在众多知识源中快速定位最佳的多个知识源;第二步是在每个入选的知识源上,使用风格迁移方法将目标域中的样本映射向知识源中对应类别内的原型,以消减目标域和知识源在条件分布上的差异。这样,知识源中的分类器就可直接用于推断目标域中样本的情绪标签。最终,在多分类器集成的框架下,我们实现了对目标域的高精度分类。该方法不仅可以利用目标域中的有标签样本,也可以纳入其中的无标签样本进行辅助学习。前者针对的是监督学习场景,后者针对的是半监督学习场景。因此,我们的方法具备良好的伸缩性和适应性。

3. 提出了一种基于隐含表示相似性的领域自适应方法

该方法面向无监督学习场景,针对的是目标域中完全没有标签信息的情况。该方法的基本思路是,一方面最小化知识源上的情绪分类误差,一方面在合适的距离测度下缩小两个领域的距离,以便在目标域上实现可靠的情绪标签推断。为了挖掘更多领域无关的数据结构,我们在神经网络产生的隐含表示上做知识迁移。在网络的浅层,我们使用对抗训练的策略迫使网络学习领域无关的特征表示,在此阶段,并不考虑情绪分类任务,仅要求两个领域数据的边缘分布相类似;在网络的深层,我们使用关联强化手段,以情绪分类任务中的标签一致性为约束,降低两个领域关于情绪标签的条件分布之间的差异。通过浅层和深层上不同策略的配合,我们分别在边缘分布和条件分布上降低了领域之间的差异,且在基准数据库上获得了截至目前最好的结果。

语种中文
页码134
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/23899]  
专题类脑智能研究中心_神经计算及脑机交互
推荐引用方式
GB/T 7714
李劲鹏. 脑电情绪识别中跨被试迁移学习方法研究[D]. 中国科学院自动化研究所. 中国科学院自动化研究所. 2019.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace