AAAI（AAAI Conference on Artificial Intelligence）是人工智能领域的重要国际会议，是CCF-A类推荐会议。2024级硕士研究生徐兴国作为第一作者的论文 “STMI: Segmentation-Guided Token Modulation with Cross-Modal Hypergraph Interaction for Multi-Modal Object Re-Identification” 成功被会议录用。AAAI2026将于2026年1月20日至27日在新加坡举办。今年共有23680篇论文投稿，最终4167篇论文接收，录用率17.6%。
论文概述：
在多模态目标重识别（ReID）任务中，如何有效融合来自RGB、近红外（NIR）和热红外（TIR）等不同模态的信息，始终是一个具有挑战性的问题。传统方法往往依赖于硬性token筛选或简单的特征融合策略，不仅容易丢失关键判别信息，还容易引入背景噪声，降低识别精度。为此，本文提出了一种新颖的多模态ReID方法STMI，通过引入分割引导、语义重建和超图建模三大机制，显著提升了模型在复杂场景下的鲁棒性与判别能力。
首先，STMI利用SAM生成的分割掩码，引导Transformer注意力机制，将注意力重点集中在前景区域，同时抑制背景干扰，从而更好地保留与身份相关的特征信息。其次，模型引入语义Token重分配模块，通过可学习的查询token与图像patch进行交互，提取更紧凑、结构化的语义表示，避免了传统token裁剪带来的信息丢失。此外，STMI还构建了一个跨模态的统一超图，用于建模RGB、NIR和TIR之间的高阶语义关系，通过超图卷积实现多模态语义的深度融合与互补。
在RGBNT201、RGBNT100和MSVR310三个主流多模态ReID数据集上，STMI均取得了当前最优的性能表现。尤其在MSVR310这样具有强噪声和高遮挡的复杂场景下，STMI的mAP指标相比此前最强方法提升了超过17个点，展现出极强的泛化能力。本文还构建了一个多模态图像拼接与结构化属性提取结合的文本生成模块，有效提升了语义描述的准确性与一致性，为多模态语义对齐提供了关键支撑。
总体而言，STMI从特征建模、语义提取到模态融合等多个层面进行了全面创新，为多模态目标重识别任务提供了一种高效、鲁棒且具有强解释性的解决方案。
主页：https://github.com/young6man/STMI
下一条：本实验室杨凯辰同学的研究成果成功被计算机视觉顶级会议CVPR2025录用
