Hugging Face重磅发布全新开源语言模型SmolLM3，这款拥有3B参数的轻量级大语言模型（LLM）凭借卓越性能与高效设计，迅速引发行业热议。SmolLM3在多项权威基准测试中表现惊艳，不仅超越同级别的Llama-3.2-3B和Qwen2.5-3B，更与更大规模的4B参数模型Gemma3性能不相上下，展现了小模型蕴藏的巨大能量。模型官网：https://huggingface.co/blog/smollm33B参数，性能直逼4B模型
SmolLM3是一款专为解码任务设计的3B参数Transformer模型，通过引入分组查询注意力（GQA）和NoPE等前沿技术，实现了高效推理与长上下文处理的完美平衡。模型在11.2万亿token的多样化数据集上进行预训练，数据来源涵盖网页、代码、数学和推理等多个领域，确保其在知识储备、逻辑推理、数学运算和编码能力等方面具备强大实力。官方数据显示，SmolLM3在HellaSwag、ARC、BoolQ等知识与推理基准测试中表现突出，与Qwen3-4B和Gemma3-4B等4B参数模型相比毫不逊色，充分证明了小模型的惊人潜力。
双模式推理，灵活应对复杂任务
SmolLM3创新性地引入双模式推理机制，支持”思考”和”非思考”两种工作模式。在”思考”模式下，模型在AIME2025（36.7% vs 9.3%）、LiveCodeBench（30.0% vs 15.2%）和GPQA Diamond（41.7% vs 35.7%）等复杂测试中展现出显著优势。这种灵活的推理架构使模型能够根据任务需求动态调整计算策略，在速度与深度推理之间取得理想平衡，完美适配从快速问答到复杂问题求解的多样化场景。
支持128K上下文，六种语言无缝切换
SmolLM3在长上下文处理方面表现卓越，训练时支持64K上下文窗口，通过YaRN技术可扩展至128K token，在Ruler64k测试中充分验证了其处理长序列的能力。此外，模型原生支持英语、法语、西班牙语、德语、意大利语和葡萄牙语六种语言，并在阿拉伯语、汉语和俄语上进行了针对性训练，展现出优异的多语言处理性能。在Global MMLU、Flores-200等测试中，SmolLM3的多语言能力在同级别模型中名列前茅，为全球化应用场景提供了可靠支持。
完全开源，构建开发者生态
秉承Hugging Face一贯的开源理念，SmolLM3不仅公开了模型权重，还完整开源了训练数据混合方案、训练配置文件和完整代码，开发者可通过Hugging Face的smollm存储库获取全部技术资料。这种透明的”训练蓝图”极大降低了学术研究和商业应用的门槛，允许开发者基于公开数据集和框架进行模型复现或优化。AIbase认为，这一举措将有力推动开源AI生态发展，为边缘设备部署和定制化应用创造更多可能。
高效设计，边缘设备新选择
SmolLM3专为高效推理场景设计，采用分组查询注意力机制显著降低推理时的KV缓存占用，结合WebGPU技术支持，使其特别适合在浏览器或边缘设备上运行。相较于更大规模的模型，SmolLM3在性能与计算成本之间实现了完美平衡，为教育、编码、客户支持等场景提供了极具性价比的解决方案。
行业影响与未来展望
SmolLM3的发布标志着小规模语言模型在性能与效率上取得重大突破。其开源特性、长上下文处理能力和多语言支持，使其成为学术研究、初创企业和中小型企业的理想选择。AIbase预测，SmolLM3将在教育、客户服务和本地化部署等领域引发应用热潮，同时其完全开源的训练流程也将激励更多开发者参与AI模型的优化与创新。SmolLM3以3B参数实现媲美4B模型的性能，展现了小模型在高效AI领域的无限可能。Hugging Face通过开源全部训练细节和数据，为行业树立了透明协作的典范。我们期待SmolLM3在更多实际场景中的应用表现，并持续关注其后续更新。
结语
SmolLM3的推出不仅证明了”小型模型，大能量”的可行性，也为开源AI社区注入了全新活力。无论是开发者还是企业用户，这款高效多功能的模型都值得深入体验。