IEEE Transactions on Image Processing（TIP）是图像处理领域的顶级国际期刊，属于CCF-A类推荐期刊。2024级博士研究生周惟祥作为第一作者的论文“Multi-Modal Object Re-Identification With Prompt-S6 and Semantic-Aware Knowledge Guidance”被该期刊录用发表。
论文概述：
在多模态目标重识别（ReID）任务中，如何有效抑制背景干扰并实现三模态（RGB、近红外、热红外）的充分对齐，是提升模型鲁棒性的关键。现有方法往往忽略前景背景分离，且难以在较低计算开销下实现全面的三模态交互。为此，本文提出了PRISM框架，基于Prompt-S6（PS6）和语义感知知识引导，实现了高效且鲁棒的多模态特征学习。
该框架包含两个主要组件。语义驱动Token剪枝模块（SDTP）利用预训练分割模型生成的掩码作为空间先验，通过目标感知特征增强（TAFE）实现语义特征与多光谱特征的细粒度交互，并借助尾部丢弃模块（TDM）的跨模态共识机制，动态抑制与背景相关的低响应Token。渐进融合网络（PFN）则通过模态内建模、模态间交互和三模态聚合三个阶段，逐步提炼特征表示，实现全面的跨模态对齐。其中，PS6基于状态空间模型理论，通过解耦的提示条件机制，以线性复杂度实现高效的三模态同时交互。
在RGBNT201、RGBNT100、MSVR310和WMVeID863四个多模态ReID基准数据集上的实验验证了所提方法的有效性与高效性。此外，PS6模块在图像融合等低级多模态视觉任务中也展现出良好的通用性。
主页： https://github.com/zw-absin/PRISM
上一条：本实验室周惟祥同学的研究成果被IEEE TCSVT录用发表 下一条：本实验室白泽宇同学的研究成果在 IEEE TCSVT 在线发表
