祝贺团队硕士生龚子璇一篇文章“Lite-Mind: Towards Efficient and Robust Brain Representation Learning”被ACM MM 2024录用为Oral文章
ACM 国际多媒体会议（ACM International Conference on Multimedia，简称ACM MM）是计算机科学领域中多媒体和多模态领域的首要国际会议，也是中国计算机学会CCF推荐的A类国际学术会议。多媒体研究的重点是整合不同数字形式（包括图像，文本，视频，音乐，传感器数据，口头音频）提供的多种视角。自1993年以来，ACM多媒体一直将学术界和工业界的研究人员和从业人员汇聚在一起，提出创新的研究成果并讨论最新进展。
由于功能核磁共振fMRI 信号的数据可用性有限且信噪比低，因此 fMRI 图像检索任务极具挑战性。最先进的 MindEye 利用大型模型（即每个受试者拥有大型MLP 主干网络）将 fMRI 表示与 CLIP 的视觉编码器（ViT）的表示对齐，从而显著提高了 fMRI 图像检索性能。然而，即使在相同的实验设置下，受试者之间也存在着显著的个体差异，这就要求对大型受试者特定模型进行训练。大量的参数给在实际设备上部署 fMRI 解码带来了巨大挑战。为了解决这一问题，文章提出了基于离散傅立叶变换（DFT）的轻量级、高效、稳健的大脑表征学习范例 Lite-Mind，它能有效地将 fMRI体素与 CLIP 的细粒度信息对齐。文章精心设计了带有频谱压缩和频率投影模块的 DFT 主干网络，以学习信息丰富且稳健的体素嵌入。对fMRI的首次空间频域设计使得Lite-Mind实现了极高的轻量化效果，增强了fMRI解码模型的实际应用能力。