祝贺团队博士生张禹一篇论文被NeurIPS2023录用

Date:2023-12-29    Author:张红云 苑克花

祝贺团队博士生张禹一篇论文被NeurIPS2023录用

  祝贺团队博士生张禹一篇论文“MG-ViT: A Multi-Granularity Method for Compact and Efficient Vision Transformers”被Thirty-seventh Conference on Neural Information Processing Systems(NeurIPS 2023)录用。

  NeurIPS,全称神经信息处理系统大会,是机器学习方向国际上公认的三大顶级会议之一,代表着当今人工智能研究的最高水平。同时,该会议在中国计算机学会国际学术会议排名中为人工智能领域的A类会议。

  文章提出了MG-ViT,一种用于压缩加速ViT的多粒度框架,该框架由单粒度推理阶段(SGIS)和多粒度推理阶段(MGIS)组成。图像会首先在SGIS中进行轻量级的分类推理,如果分类结果置信度足够,推理将会立即终止并输出分类结果;否则图像将进入MGIS中,被分割为head、middle、tail具有多种信息粒度的patch,被再次输入到ViT中进行推理。在MGIS的ViT中还集成了即插即用的精简模块,该模块利用三支决策机制和token的融合-匹配方法进一步减少token数量以实现该框架进一步加速推理的能力。在ImageNet数据集中,以DeiT-S和LV-ViT-S作为骨干网络,在性能没有损失的情况下,可以分别降低47%和56%的FLOPs。

  


Prev:祝贺团队博士后张奇一篇论文被AAAI2024录用
Next:祝贺团队硕士生韩雪昆一篇论文获2023中国粒计算与知识发现学术会议(CGCKD2023)优秀学生论文

Close