祝贺团队博士生张禹一篇论文被NeurIPS2023录用
祝贺团队博士生张禹一篇论文“MG-ViT: A Multi-Granularity Method for Compact and Efficient Vision Transformers”被Thirty-seventh Conference on Neural Information Processing Systems(NeurIPS 2023)录用。
NeurIPS,全称神经信息处理系统大会,是机器学习方向国际上公认的三大顶级会议之一,代表着当今人工智能研究的最高水平。同时,该会议在中国计算机学会国际学术会议排名中为人工智能领域的A类会议。
文章提出了MG-ViT,一种用于压缩加速ViT的多粒度框架,该框架由单粒度推理阶段(SGIS)和多粒度推理阶段(MGIS)组成。图像会首先在SGIS中进行轻量级的分类推理,如果分类结果置信度足够,推理将会立即终止并输出分类结果;否则图像将进入MGIS中,被分割为head、middle、tail具有多种信息粒度的patch,被再次输入到ViT中进行推理。在MGIS的ViT中还集成了即插即用的精简模块,该模块利用三支决策机制和token的融合-匹配方法进一步减少token数量以实现该框架进一步加速推理的能力。在ImageNet数据集中,以DeiT-S和LV-ViT-S作为骨干网络,在性能没有损失的情况下,可以分别降低47%和56%的FLOPs。