我校信息管理学院陈忠源(在读硕士研究生);路翀教授;王艺涵(在读硕士研究生)于2025年5月在计算机科学领域的权威期刊《Pattern Recognition》(中科院一区)发表学术论文,题目为“CIEG-Net: Context Information Enhanced Gated Network For Multimodal Sentiment Analysis”。
研究成果简介:本研究针对多模态情感分析中常见的跨模态融合效率低下及上下文信息利用不足的问题,提出了Context Information Enhanced Gated Network(CIEG-Net)模型。首先,通过上下文增强模块分别从文本和音频输入中抽取原始特征及其上下文表示,保证语义与时序信息的充分保留;随后,在融合网络模块中将文本-音频特征与对应的上下文特征进行深度交互融合,有效弥补模态间的异质性差异;最后,门控网络模块根据输入数据动态分配各模态及其上下文信息的权重,有针对性地恢复缺失特征并强化关键信息流。我们在 CMU-MOSI、CMU-MOSEI 和 CH-SIMS 三个公开数据集上进行了全面实验,结果表明 CIEG-Net 在多项评价指标上均显著超越当前最先进模型,验证了引入上下文信息和动态门控机制对于提升多模态融合性能的关键作用。
作者主要简介:
1.陈忠源,以第一作者身份发表核心期刊3篇,其中,1篇SCI一区,1篇SCI四区,1篇北大核心。以共同作者身份发表核心期刊2篇,其中,1篇SCI三区,1篇北大核心。
2.路翀,博士,二级教授,硕士研究生导师,从事人工智能、Python数据分析、模式识别等方面的教研工作,主持完成国家级项目2项,省部级项目3项,横向项目5项,在《Neurocomputing》《计算机工程与应用》《Pattern Recognition》等国内外的权威期刊上发表论文50余篇;主编教材1部,主持、参与取得专利3项。
3.王艺涵,2023级工业工程与管理专业在读研究生,以第一作者身份发表北大核心期刊1篇,以共同作者身份发表SCI一区核心期刊1篇。。
主要研究方向:人工智能、多模态情感分析、深度学习