IEEE Transactions on Circuits and Systems for Video Technology（TCSVT）是视频技术与多媒体领域的重要国际期刊。2024级博士研究生周惟祥作为第一作者的论文“Multi-Modal Object Re-Identification with Dual Semantic Guidance and Global-Local Mutual Modulation”被该期刊录用发表。
论文概述：
在多模态目标重识别（ReID）任务中，现有方法往往面临语义先验对齐不足以及全局与局部特征协同缺失的问题，导致模型在复杂环境下容易受到背景干扰和跨模态不对齐的影响。针对上述挑战，本文提出了一种基于双语义引导与全局局部互调制的新颖多模态ReID框架。
该框架主要包含三个核心模块。首先，文本语义注入器（TSI）利用多模态大语言模型生成统一的无填充文本描述，通过超图网络实现高阶视觉语言交互，增强全局语义感知。其次，掩码全局局部调制器（MGLM）借助语义掩码与全局上下文引导，实现跨模态的局部部件级对齐，有效抑制背景噪声。最后，分层混合专家融合模块（HMF）采用两阶段路由机制，在局部语义监督下自适应地聚合多光谱特征，平衡局部专业化与跨模态一致性。
在RGBNT201、RGBNT100和MSVR310三个主流多模态ReID数据集上的实验表明，所提方法在各项评价指标上取得了领先性能。特别是在具有严重遮挡、低光照和复杂背景的MSVR310数据集上，该方法相比此前最优方法取得了显著提升，展现了良好的鲁棒性与泛化能力。
主页： https://github.com/zw-absin/DSGM
下一条：本实验室周惟祥同学的研究成果被IEEE TIP录用发表
