微新创想:2月10日,腾讯混元正式推出面向消费级硬件的端侧轻量大模型HY-1.8B-2Bit。该模型通过2比特量化技术,将等效参数量压缩至仅0.3B,显著降低了内存占用,大约为600MB。这样的优化使得模型能够在资源受限的设备上高效运行,例如手机和IoT设备。
微新创想:这一创新举措旨在降低大模型在电商、智能客服等终端应用场景中的部署难度。通过端侧轻量化,企业可以更便捷地将人工智能能力集成到各类硬件产品中,从而提升用户体验。
微新创想:此外,HY-1.8B-2Bit还增强了实时响应能力,使得设备在本地处理任务时更加迅速。同时,由于数据无需上传至云端,该模型也有效提升了用户隐私的安全性,减少了数据泄露的风险。
微新创想:目前,该模型已开放技术预览,开发者和企业可以率先体验其性能与功能。同时,支持私有化部署,满足不同行业对数据安全和定制化的需求。这一发布标志着腾讯在端侧AI领域迈出了重要一步。
