小红书开源dots.vlm1多模态大模型 NaViT领跑行业

小红书旗下实验室 Hi Lab 近期重磅发布并正式开源了其自主研发的首款多模态大模型 dots.vlm1。这款模型基于12亿参数的 NaViT 视觉编码器与 DeepSeek V3 大语言模型构建,通过从零开始的完整训练,在多模态视觉理解与推理能力上已达到与当前顶尖闭源模型如 Gemini2.5Pro 和 Seed-VL1.5 相当的性能水平,标志着开源多模态模型的技术表现迈上了全新台阶。

小红书开源dots.vlm1多模态大模型 NaViT领跑行业插图1

dots.vlm1 的核心竞争力源于其原生自主研发的 NaViT 视觉编码器。这一创新突破摒弃了传统基于成熟模型微调的路径,采用从零训练的方式,并具备动态分辨率处理能力,能够灵活适应各种复杂的真实图像场景。通过融合纯视觉监督与文本视觉双重监督机制,模型在泛化能力上实现了显著提升,特别是在处理表格、图表、公式、文档等非典型结构化图片时,展现出超乎寻常的准确性和鲁棒性。

在数据构建方面,Hi Lab 团队投入巨力打造了规模庞大且质量精良的训练集。他们通过自主重写网页数据,并运用自研的 dots.ocr 工具处理 PDF 文档,大幅提升了图文对齐的精准度,为模型建立强大的跨模态理解能力奠定了坚实基础。

小红书开源dots.vlm1多模态大模型 NaViT领跑行业插图2

在权威评测中,dots.vlm1 的表现足以媲美业界顶尖的闭源模型。在 MMMU、MathVision 和 OCR Reasoning 等主流国际多模态评测集上,该模型均取得了与 Gemini2.5Pro 和 Seed-VL1.5 相当的优异成绩。特别是在图表推理、STEM 数学推理以及长尾细分场景识别等复杂应用中,dots.vlm1 凭借卓越的逻辑推理和分析能力脱颖而出,完全能够胜任包括奥数在内的各类高难度任务。尽管在文本推理的极复杂任务上与最先进的闭源模型尚存在细微差距,但其通用数学推理和代码能力已达到与主流大语言模型持平的水平。

Hi Lab 团队表示将持续优化 dots.vlm1 的性能表现。未来计划通过扩大跨模态数据规模,并引入强化学习等前沿算法,进一步提升模型的推理泛化能力。通过开源 dots.vlm1,小红书 Hi Lab 致力于为多模态大模型生态系统注入新的活力,推动整个行业向更高水平发展。

最新快讯

2025年11月28日

12:38
2025年11月28日,国家能源局综合司正式发布通知,宣布全面启动“人工智能+”能源试点工作,标志着我国能源行业智能化转型进入全新阶段。此次试点聚焦于能源领域的八大核心应用场景和37项重点任务,旨在通过系统性布局推动能源产业与人工智能技术的深度融合。通知明确面向全国能源企业公开征集具有高价值的应用场景需求,并创新性地采用“揭榜挂帅”机制,鼓励人工智能技术供给...
12:38
2025年上海国际体育博览会盛大启幕,瑞士高端跑步品牌On昂跑以"空前之轻,未来之履"为核心主题,精心打造了引人注目的品牌展台。这一创新设计不仅完美融合了前沿空间美学与互动体验,更向全球观众全方位展示了On昂跑在跑步科技与时尚设计领域的最新突破与成果。展会期间,品牌特别宣布重新发售备受瞩目的高性能竞速跑鞋Cloudboom Strike LS,现场跑者不仅有...
12:38
2025年11月28日,中国科学院电工研究所传来振奋人心的消息,他们成功研制出一种具有突破性意义的大口径高场通用超导磁体。该磁体中心磁场强度达到了惊人的16.5特斯拉,内孔直径更是达到了150毫米,这一成就不仅刷新了国内同类磁体的最高磁场纪录,更标志着我国在超导技术领域迈出了坚实的一步。 为了实现这一突破,科研团队采用了多项创新技术。他们巧妙地运用了分层分级...
12:38
2026年初,备受期待的M&M'S®全新门店即将在上海迪士尼度假区迪士尼小镇盛大启幕。这家融合购物、餐饮与娱乐演出的复合型门店坐落于迪士尼小镇入口处,将成为游客体验迪士尼奇妙旅程的全新亮点。此次开业计划由玛氏中国正式宣布,不仅标志着品牌在中国市场的进一步扩张,更体现了其致力于为游客打造沉浸式互动体验的创新精神。通过将品牌元素与迪士尼经典场景深度融合,...
12:38
2025年11月28日,科技界传来振奋消息,谷歌推出的“凭据恢复API”已取得突破性进展,显著提升了安卓设备的换机体验。长期以来,安卓用户在更换手机后不得不逐一重新登录各种应用,而iOS用户却能享受无缝迁移登录状态的红利。为解决这一痛点,谷歌于2024年正式推出这项创新API,通过安全迁移旧设备的登录token至新设备,实现一键自动登录。目前,打车平台Ube...
12:38
2025年11月28日,中国领先的检测认证机构启迈QIMA正式宣布,已成功获得亚马逊官方授权,成为其玩具类目直接验证(Direct Verification)合作伙伴实验室网络的核心成员。这一重要里程碑标志着启迈QIMA在跨境电商服务领域迈出了关键一步,未来将面向全球亚马逊平台上的玩具类产品,提供全方位的合规检测与质量验证服务。 作为亚马逊官方认可的合作伙伴...
12:38
2025年11月28日,国际知名质量控制服务商QIMA正式发布关于装运前检验的权威解读。作为行业标杆企业,QIMA强调专业检验必须严格遵循ISO等国际标准体系,确保检验流程的科学性与权威性。其检验服务全面覆盖数量核查、包装检验、质量验证等核心环节,通过多维度检测保障货物符合国际贸易规范。特别值得一提的是,QIMA采用高效的检验流程,客户可在检验工作完成后当天...
12:38
2025年11月28日,备受瞩目的AI平台Model ML成功斩获7500万美元A轮融资,标志着其在金融科技领域的突破性进展。此次融资由知名投资机构FT Partners强势领投,13Books Capital、Y Combinator、QED Investors、LocalGlobe和Latitude等顶尖投资方联合参投,彰显了市场对Model ML创新能...
12:38
2025年,福建高速将斥资1.8亿元自有资金,积极参与海峡保险的年度增资扩股计划。此次增资规模宏大,海峡保险共获得10亿元资金注入,为未来的业务发展注入强劲动力。这笔资金将重点用于拓展机动车保险、企业财产险以及农业保险等核心业务领域,同时也会覆盖互联网保险等新兴业务板块,实现基础业务与扩展业务的协同增长。 在股权结构方面,福建高速此次增资后仍将持有海峡保...
12:07
2025年11月28日,去中心化稳定币借贷平台CreatorFi成功斩获200万美元战略投资,标志着其在Web3创作者经济领域的快速发展获得重要资本支持。本轮融资由业界领先的Aptos基金会与Aptos Labs联合领投,充分彰显了市场对CreatorFi创新模式的认可与期待。据悉,这笔资金将全面用于平台核心技术升级与生态建设,旨在进一步提升用户体验与市场竞...
12:07
2025年11月27日,科技媒体率先披露了一则令人振奋的消息:三星计划在即将推出的One UI 8.5系统中,彻底解决深色模式下应用图标过亮这一长期困扰用户的痛点。据悉,该系统更新将引入一项突破性算法,通过智能适配机制强制调整第三方应用图标的背景亮度,确保在暗色环境下实现视觉上的和谐统一。这一举措不仅能够有效缓解用户在夜间使用手机时的视觉疲劳,更将显著提升整...
12:07
2025年11月,摩尔线程重磅发布Torch-MUSA v2.7.0版本,正式宣布全面支持PyTorch深度学习框架。这一版本与PyTorch主版本号保持高度同步,标志着摩尔线程在深度学习领域的技术实力再上新台阶。 此次更新不仅引入了全新的muFFT与muSolver计算库,还显著强化了对统一内存设备(UMM)的支持。通过优化内存管理机制,Torch-M...