祝贺团队博士生张禹一篇论文被NeurIPS2023录用

Date:2023-12-29    Editor:张红云、苑克花

祝贺团队博士生张禹一篇论文“MG-ViT: A Multi-Granularity Method for Compact and Efficient Vision Transformers”Thirty-seventh Conference on Neural Information Processing SystemsNeurIPS 2023)录用。

NeurIPS,全称神经信息处理系统大会,是机器学习方向国际上公认的三大顶级会议之一,代表着当今人工智能研究的最高水平。同时,该会议在中国计算机学会国际学术会议排名中为人工智能领域的A类会议。

文章提出了MG-ViT,一种用于压缩加速ViT的多粒度框架,该框架由单粒度推理阶段(SGIS)和多粒度推理阶段(MGIS)组成。图像会首先在SGIS中进行轻量级的分类推理,如果分类结果置信度足够,推理将会立即终止并输出分类结果;否则图像将进入MGIS中,被分割为headmiddletail具有多种信息粒度的patch,被再次输入到ViT中进行推理。在MGISViT中还集成了即插即用的精简模块,该模块利用三支决策机制和token的融合-匹配方法进一步减少token数量以实现该框架进一步加速推理的能力。在ImageNet数据集中,以DeiT-SLV-ViT-S作为骨干网络,在性能没有损失的情况下,可以分别降低47%56%FLOPs


Prev:祝贺团队硕士生李正甲荣获2022年上海计算机学会优秀硕士学位论文称号
Next:实验室师生参加国际粗糙集联合会议

Close