Meta、麻省理工学院（MIT）与卡内基梅隆大学（CMU）的顶尖研究人员联合推出了一项突破性技术——StreamingLLM，旨在攻克大型语言模型（LLMs）在长时间对话中性能衰减的核心难题。这一创新成果对于当前人工智能领域极具影响力的LLMs，如OpenAI的ChatGPT和Meta的Llama2，具有里程碑式的意义。这些模型在开放式对话场景中始终面临性能随对话时长增加而下降的挑战，而StreamingLLM正是为解决这一痛点而设计。
LLMs的性能瓶颈源于其训练机制——基于固定长度的数据块进行预训练。当用户输入的标记超出了预设长度时，模型性能便会急剧下滑，这一缺陷严重制约了LLMs在需要持续交互场景中的应用。例如，企业若想利用LLMs为客服或员工提供开放式对话支持，现有模型的性能瓶颈将成为一大障碍。
StreamingLLM的解决方案巧妙地引入了”attention sinks”（关注点汇）的概念。该技术通过在对话的不同阶段重新引入初始标记，使LLMs能够跨越无限长度的文本，始终维持高性能输出。研究发现，LLMs在对话或训练初期对初始标记更为敏感，因为初始标记对所有后续标记可见，而后续标记的可见范围则相对有限。因此，在对话后期重新引入初始标记，相当于为LLMs注入”记忆”功能，使其能够有效恢复并维持高质量响应。
研究人员进一步创新性地提出，可以使用单个特殊标记作为”attention sink”。通过在对话过程中手动或自动地重新引入这一特殊标记，LLMs的关注机制将得到持续稳定，从而在长时间对话中保持卓越性能。这一技术使得LLMs无需频繁刷新缓存，就能为用户提供不间断的帮助。
尽管StreamingLLM展现出强大的应用潜力，研究人员也客观指出了其局限性——该技术并不扩展LLMs的上下文窗口，也无法确保模型完全记住对话的每个细节。但即便如此，StreamingLLM仍为LLMs在长时间对话中保持高性能提供了革命性解决方案，有望在客服系统、智能助手等需要持续交互的应用场景中引发广泛应用浪潮。这一突破性技术标志着大型语言模型正迈向更稳定、更持久的对话交互新纪元。