近日，在计算机图形学与多媒体领域顶级会议《ACM International Conference on Multimedia》的论文录用结果中，我院2023级本科生单翔宇为第一作者、宋衡老师和朱俊武教授为通讯作者的学术论文“DFCNet: Dual-Factor Compensatory Clustering Network for Modality-Imbalanced Generalized Zero-Shot Learning”被录用。

人类通过多模态感知（视觉、听觉、语言）构建认知系统基础，音视频领域需突破跨模态语义关联与时空对齐难题以实现类人视听协同认知。广义零样本学习（GZSL）通过可迁移语义描述突破监督学习局限，在音视频场景中仅需对齐视频画面与音频联合特征即可推断新型行为模式，显著降低标注成本并提升模型泛化能力。当前研究面临双重挑战：现有方法多依赖静态语义建模，忽视视听模态动态互补性，导致模态内时序信息与语义表征存在鸿沟；同时多源异构数据引发的模态失衡效应易造成优势模态（如视觉）抑制弱势模态（如听觉）的学习。针对上述问题，本研究提出双因子补偿聚类网络（DFC-Net），通过并行多层感知机（MLP）实现语义建模，双向长短期记忆网络（BiLSTM）捕捉时序一致性。提出补偿融合模块（CFB），通过张量分解实现跨模态耦合及低秩特征对齐，并引入双因子聚类多目标优化框架（DCMOF）通过梯度均衡机制自适应调整模态贡献权重，从而强化跨模态对齐效果。实验表明，该方法在GZSL调和均值指标下取得当前最优性能。

《ACM International Conference on Multimedia》是计算机科学领域多媒体方向的顶级国际学术会议，在《清华大学计算机学科群推荐学术会议和期刊列表（TH-CPL）》中，ACM MM被明确列为A类会议，国际学术评价体系CORE中评级为 A*，中国计算机学会（CCF）将其评为A类国际学术会议，代表多媒体领域的最高学术水平。