小红书开源dots.vlm1多模态大模型 NaViT领跑行业

小红书旗下实验室 Hi Lab 近期重磅发布并正式开源了其自主研发的首款多模态大模型 dots.vlm1。这款模型基于12亿参数的 NaViT 视觉编码器与 DeepSeek V3 大语言模型构建,通过从零开始的完整训练,在多模态视觉理解与推理能力上已达到与当前顶尖闭源模型如 Gemini2.5Pro 和 Seed-VL1.5 相当的性能水平,标志着开源多模态模型的技术表现迈上了全新台阶。

小红书开源dots.vlm1多模态大模型 NaViT领跑行业插图1

dots.vlm1 的核心竞争力源于其原生自主研发的 NaViT 视觉编码器。这一创新突破摒弃了传统基于成熟模型微调的路径,采用从零训练的方式,并具备动态分辨率处理能力,能够灵活适应各种复杂的真实图像场景。通过融合纯视觉监督与文本视觉双重监督机制,模型在泛化能力上实现了显著提升,特别是在处理表格、图表、公式、文档等非典型结构化图片时,展现出超乎寻常的准确性和鲁棒性。

在数据构建方面,Hi Lab 团队投入巨力打造了规模庞大且质量精良的训练集。他们通过自主重写网页数据,并运用自研的 dots.ocr 工具处理 PDF 文档,大幅提升了图文对齐的精准度,为模型建立强大的跨模态理解能力奠定了坚实基础。

小红书开源dots.vlm1多模态大模型 NaViT领跑行业插图2

在权威评测中,dots.vlm1 的表现足以媲美业界顶尖的闭源模型。在 MMMU、MathVision 和 OCR Reasoning 等主流国际多模态评测集上,该模型均取得了与 Gemini2.5Pro 和 Seed-VL1.5 相当的优异成绩。特别是在图表推理、STEM 数学推理以及长尾细分场景识别等复杂应用中,dots.vlm1 凭借卓越的逻辑推理和分析能力脱颖而出,完全能够胜任包括奥数在内的各类高难度任务。尽管在文本推理的极复杂任务上与最先进的闭源模型尚存在细微差距,但其通用数学推理和代码能力已达到与主流大语言模型持平的水平。

Hi Lab 团队表示将持续优化 dots.vlm1 的性能表现。未来计划通过扩大跨模态数据规模,并引入强化学习等前沿算法,进一步提升模型的推理泛化能力。通过开源 dots.vlm1,小红书 Hi Lab 致力于为多模态大模型生态系统注入新的活力,推动整个行业向更高水平发展。

最新快讯

2025年10月02日

17:49
微新创想10月2日电 10月1日,在广袤的锡林郭勒草原上,一场别开生面的外卖配送场景吸引了众多目光。一位美团骑手小哥骑马飞驰,穿梭于无垠的草原之间,只为将外卖准时送达。这一幕不仅展现了骑手的高超技艺,更彰显了美团在服务上的创新与突破。 从视频画面中清晰可见,原本是游客在驾车驰骋于这片辽阔的草原时,一时兴起点了外卖。接到订单的骑手小哥没有丝毫犹豫,迅速跨上骏马...
17:49
微新创想10月2日讯 国庆黄金周期间,一段令人啼笑皆非的高速公路堵车趣闻在网络上迅速传播,引发了广大网友的热烈关注和讨论。据相关消息透露,10月1日当天,浙江省内某路段因车流量过大出现严重拥堵,一位年轻小伙却在这令人抓狂的等待中展现出了独特的应对方式,他选择下车体验垂钓之乐,这一反常规的行为瞬间成为网络焦点。 据了解,当时正值国庆长假出行高峰,该路段拥堵状...
17:49
微新创想10月2日重磅消息,小米合伙人卢伟冰通过官方渠道正式官宣:备受瞩目的小米17系列手机销量已强势突破100万台,刷新了小米历代新机销售速度纪录。卢伟冰同时透露,小米正在全力提升生产线产能,加速库存补充,致力于让消费者能够更快地体验到这款旗舰爱机。 自小米17系列正式发售以来,市场反应异常热烈,供不应求现象普遍出现。部分热门版本已出现全面缺货状态,众多网...
17:49
微新创想10月2日讯 国庆中秋双节同庆,市场消费热情高涨,华为鸿蒙智行汽车也借势迎来了销售旺季。据鸿蒙智行官方公布的数据显示,假期首日全系车型大定订单便突破8000台,这一成绩远超去年同期10月1日的5200台,同比增长高达53%。考虑到假期期间庞大的人流和旺盛的购车需求,预计8天长假结束后,鸿蒙智行累计大定总量有望突破5万台,创下历史新高。 随着鸿蒙智行产...
17:48
小米集团创始人雷军近日在社交平台上发布的一组动态,再次引发了网友们的热烈讨论。10月2日,雷军分享了自己前往小米工厂打卡小米YU7的组图,并在配文中写道:"我开小米YU7在工厂打卡,帮大家催生产。大家假期都去哪玩?到目的地了吗。"这条动态发布于10月1日国庆节当天,展现出雷布斯即使在国家法定假日也心系公司发展的敬业精神。 从组图中的照片来看,雷军当天身着咖色...
17:48
10月2日16时37分,云南迪庆州香格里拉市突发3.0级地震,震源深度达10千米。根据最新监测数据,震中坐标位于北纬28.09度、东经99.91度。幸运的是,截至目前尚未收到任何人员伤亡报告,但相关部门已启动应急响应机制,正密切跟踪震后动态,确保及时应对可能出现的次生灾害。此次地震虽未造成明显破坏,但香格里拉市及周边地区居民仍需保持警惕,相关部门将持续发布最...
17:48
2025年10月2日,腾讯控股有限公司在香港联合交易所正式披露了其最新的股份回购计划。当日,公司宣布斥资5.503亿港元,成功回购81.2万股港股,回购均价稳定在677.7港元/股。这一举措不仅彰显了腾讯对自身未来发展的坚定信心,更体现了公司优化资本结构的战略决心。 此次回购行动在港股市场展开,是腾讯近年来重要的资本运作之一。通过大规模回购股份,腾讯旨在进一...
17:48
全球DRAM内存价格持续攀升,加之HBM产能紧张的双重压力,树莓派官方近日正式宣布,其设备内存成本较去年同期大幅上涨120%。面对这一严峻挑战,尽管树莓派在年初通过战略性囤积内存来缓解短期压力,但市场供需失衡仍难以在短期内彻底扭转。因此,Compute Module 4和5的4GB与8GB版本将不可避免地迎来价格调整,每款产品预计涨价5至10美元。 与此同时...
17:48
10月2日,Artificial Analysis权威发布最新全球视频生成大模型榜单,引发业界广泛关注。在这份备受瞩目的榜单中,快手旗下可灵2.5Turbo模型(1080P分辨率)凭借1329和1252的Arena ELO评分,强势占据图生视频与文生视频两大赛道榜首位置。该模型自9月23日正式推出以来,仅用短短10天时间便实现了对Veo3、Ray3等同类模型...
17:18
北美锂业巨头Lithium Americas近日传来重大利好消息,正式宣布与美国汽车巨头通用汽车及美国能源部达成一项具有里程碑意义的初步贷款协议。该协议不仅为Lithium Americas及其核心合资项目Thacker Pass注入强劲资金支持,更标志着美国在关键矿产供应链战略布局上迈出关键一步。 根据协议具体条款,美国能源部将以极具吸引力的每股1美分价格...
17:18
英特尔近期正式发布了备受期待的Arc显卡及核显驱动更新版本32.0.101.8135,此次升级的核心目标在于全面提升新游戏的适配性能与运行体验。这款容量为1.1GB的通用驱动程序全面兼容Windows 10及Windows 11的多个主流版本,不仅覆盖了Arc A770/A750/A580等全系列独立显卡,更支持酷睿Ultra系列处理器的集成核显,为不同需求...
17:18
英特尔近日震撼发布全新锐炫显卡驱动程序(版本32.0.101.8132),这一重大升级首次将专业领域的光芒投向消费级市场之外,正式为锐炫 Pro B50 和 B60 专业显卡带来全面支持。这一突破性举措标志着英特尔在专业图形技术领域的又一里程碑,为专业人士提供了前所未有的性能优化选择。 用户现在可以自由选择两种驱动方案:一种是专为专业应用深度优化的Arc P...