面向多模态情感分析的双模态交互注意力 | |
包广斌; 李港乐; 王国雄 | |
刊名 | 计算机科学与探索 |
2021 | |
页码 | 1-10 |
关键词 | 多模态 情感分析 双向门控循环单元 上下文 双模态交互注意力 特征融合 |
英文摘要 | 针对现有多模态情感分析方法中存在情感分类准确率不高、难以有效融合多模态特征等问题,通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用,建立一种融合上下文和双模态交互注意力的多模态情感分析模型。该模型首先采用双向门控循环单元(Bidirectional Gated Recurrent Unit,BiGRU)捕获各模态中话语之间的相互依赖关系,得到各模态的上下文信息。为了学习不同模态之间的交互信息,提出了一种双模态交互注意力机制来融合两种模态的信息,并将其作为条件向量来区分各模态信息对于情感分类的重要程度;然后结合自注意力、全连接层组成多模态特征融合模块,挖掘模态内部和模态之间的关联性,获得跨模态联合特征。最后,将得到的上下文特征和跨模态联合特征进行拼接,经过一层全连接层后馈送至Softmax进行最终的情感分类。在公开的多模态情感分析数据集CMU-MOSI(CMU Multimodal opinion-level Sentiment Intensity)上对所提出的模型进行评估,实验结果表明,相比现有模型,该模型在多模态情感分类任务上的表现是有效的和先进的。 |
URL标识 | 查看原文 |
语种 | 中文 |
内容类型 | 期刊论文 |
源URL | [http://ir.lut.edu.cn/handle/2XXMBERH/149745] |
专题 | 网络与信息中心 |
作者单位 | 兰州理工大学计算机与通信学院 |
推荐引用方式 GB/T 7714 | 包广斌,李港乐,王国雄. 面向多模态情感分析的双模态交互注意力[J]. 计算机科学与探索,2021:1-10. |
APA | 包广斌,李港乐,&王国雄.(2021).面向多模态情感分析的双模态交互注意力.计算机科学与探索,1-10. |
MLA | 包广斌,et al."面向多模态情感分析的双模态交互注意力".计算机科学与探索 (2021):1-10. |
个性服务 |
查看访问统计 |
相关权益政策 |
暂无数据 |
收藏/分享 |
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。
修改评论