
微新创想:在现代工业推荐系统中 基于大语言模型(LLM)的“生成式检索(GR)”正逐渐取代传统的嵌入式搜索 然而 这种模式在实际应用中面临一个棘手问题 模型容易“胡言乱语” 生成不存在的商品 ID 或违反库存逻辑
为了解决这一痛点 Google DeepMind 与 YouTube 的研究团队近日联合发布了名为 STATIC(用于约束解码的稀疏转移矩阵加速 Trie 索引)的全新框架 该技术通过创新的数学方法 将 LLM 的约束解码速度提升了惊人的 948倍
核心技术突破 变“树”为“阵” 传统的约束校验依赖前缀树(Trie) 但在 GPU/TPU 等硬件上运行效率极低 STATIC 将复杂的树状结构扁平化为静态压缩稀疏行(CSR)矩阵 使校验过程转化为硬件极其擅长的向量化运算

极致响应速度 在30亿参数模型的测试中 STATIC 的单步延迟仅为 0.033毫秒 相比传统的 CPU 检索方案 速度提升了近千倍 相比现有的硬件加速方案 也有超过40倍的领先
YouTube 实测大捷 该技术已在 YouTube 视频推荐中上线 用于确保推荐内容符合“近7天新鲜度”等业务约束 实测显示 新鲜视频的播放量提升了 5.1% 点击率(CTR)也实现了显著增长
此外 STATIC 还解决了生成式检索在“冷启动”阶段的短板 通过精准的解码约束 模型在推荐从未见过的全新商品时 准确率实现了零的突破
