祝贺团队博士生李燕平一篇文章“Occlusion-Aware Transformer with Second-Order Attention for Person Re-Identification”被IEEE Transactions on Image Processing录用。
针对遮挡的行人重识别，现有方法通过引入手工划分或外部线索等方式来解决遮挡行人重识别，但它们往往会损害行人的语义信息或增加网络复杂性。文章从一个新颖的角度提出了一种新方法，称为 OAT。具体来说，首先使用具有多个类标记的 Transformer 架构来进行多样化的行人特征学习。鉴于 Transformer 中的自注意力机制只关注低层次的特征相关性，而忽略了不同身体部位或区域之间的高阶关系。因此，提出了二阶注意模块来捕捉更全面的特征。为了提高计算效率，文章进一步推导了实现二阶注意力的近似计算公式。由于遮挡物所处位置和大小存在不确定性，不同类标记学习到的语义信息的重要性也不同，因此提出一个基于信息熵的多个类标记融合模块。通过对每个类标记进行不确定性分析，为信息熵较低的类标记分配较高权重，而为信息熵较高的类标记分配较低权重。动态权重调整可以减轻遮挡引起的不确定性对特征学习的影响，从而促进获得具有区分性的类别标记表征。在遮挡和整体行人重识别数据集上的实验结果表明了所提出的方法的优越性。