在多模态嵌入学习这一前沿领域，研究人员正致力于打破不同数据形式之间的壁垒，以实现更高效、更全面的信息理解与处理。近日，由 Salesforce Research、加州大学圣巴巴拉分校、滑铁卢大学及清华大学联合研发的 VLM2Vec-V2 框架横空出世，它代表了一种全新的多模态嵌入学习范式，专注于统一图像、视频和视觉文档的检索任务。
现有的多模态嵌入模型往往局限于特定的数据集，如 MMEB 和 M-BEIR，主要聚焦于自然图像和照片，而这些数据集大多源自 MSCOCO、Flickr 和 ImageNet，严重缺乏对更广泛视觉信息类型的覆盖，例如文档、PDF、网站、视频和幻灯片。这种局限性导致现有模型在文章搜索、网站搜索及 YouTube 视频搜索等实际任务中表现平平。
VLM2Vec-V2 的问世，首先通过扩展 MMEB 数据集打破了这一瓶颈，新增了五种关键任务类型，包括视觉文档检索、视频检索、时间定位、视频分类和视频问答，为多模态学习提供了更全面、更丰富的评估标准。作为一款通用的嵌入模型，VLM2Vec-V2 支持多样化的输入形式，在新型任务和传统图像基准测试中均表现出色，为多模态学习的研究与应用奠定了更灵活、更具扩展性的基础。
VLM2Vec-V2 的核心架构选用了 Qwen2-VL，后者凭借其独特的多模态处理能力脱颖而出。Qwen2-VL 拥有三项关键特性：简单动态分辨率机制、多模态旋转位置嵌入（M-RoPE）以及融合二维与三维卷积的统一框架。此外，为了实现跨多种数据源的多任务高效训练，VLM2Vec-V2 还创新性地引入了灵活的数据采样管道，通过预设采样权重表和交错子批处理策略显著提升了对比学习的稳定性。
在综合了 78 个数据集的严格评估中，VLM2Vec-V2 以 58.0 的最高平均得分超越了多个强基线模型，在图像任务和视频任务上均展现出卓越性能。尽管在视觉文档检索方面略逊于 ColPali 模型，但 VLM2Vec-V2 在多模态学习统一框架上的突破性进展，为未来研究指明了重要方向。
项目地址：https://github.com/TIGER-AI-Lab/VLM2Vec
Hugging Face：https://huggingface.co/VLM2Vec/VLM2Vec-V2.0
划重点：
? VLM2Vec-V2 是一款创新的多模态嵌入学习框架，能够统一图像、视频和视觉文档的检索任务。
? 新模型的评估数据集 MMEB-V2 增加了多种任务类型，显著提升了多模态学习的丰富性和准确性。
? VLM2Vec-V2 在多个任务中表现优异，已成为多模态学习领域的重要基准模型。