字节跳动与南洋理工大学联合研发的开源框架StoryMem在AI视频生成领域掀起了一股热潮。该框架凭借其创新的”视觉记忆”机制，成功将传统的单镜头视频扩散模型升级为能够讲述多镜头长视频故事的高效工具。通过这一突破性技术，StoryMem能够自动生成时长超过1分钟、包含丰富镜头切换、角色与场景高度连贯的叙事视频，这不仅标志着开源AI视频技术迈出了重要一步，更预示着电影级叙事质量的全面革新。
StoryMem的核心创新在于其记忆机制驱动的逐镜生成系统。该系统受到人类记忆方式的启发，设计了独特的”Memory-to-Video（M2V）”架构。通过维护一个紧凑的动态记忆库，StoryMem能够存储先前生成镜头中的关键帧信息。其工作流程如下：首先使用文本到视频(T2V)模块生成首镜头作为初始记忆，随后在生成每个新镜头时，都会通过M2V LoRA将记忆中的关键帧信息注入扩散模型，从而确保角色外貌、场景风格和叙事逻辑在跨镜头中保持高度一致。生成完成后，框架还会自动进行语义关键帧提取和美学筛选，进一步优化记忆库内容。这种迭代式生成方式不仅有效避免了传统长视频模型常见的角色”变脸”、场景跳变等问题，而且仅需轻量级的LoRA微调即可实现，无需依赖海量长视频数据进行训练。
实验结果表明，StoryMem在跨镜头一致性方面表现卓越，相比现有方法提升幅度高达29%，并在人类主观评测中获得更高偏好。更令人惊喜的是，该框架完整保留了基础模型（如Wan2.2）的高画质、提示遵循度和镜头控制能力，同时支持自然转场和自定义故事生成。为了推动行业标准化发展，框架团队还配套发布了ST-Bench基准数据集，其中包含300个多样化多镜头故事提示，为长视频叙事质量的标准化评估提供了重要参考。
StoryMem的应用场景极为广泛，特别适合需要快速迭代视觉内容的领域：在营销与广告领域，用户可以从脚本快速生成动态分镜，并进行多种版本的A/B测试；在影视预制作环节，该框架能够辅助剧组可视化故事板，显著降低前期概念成本；对于短视频创作者和独立内容生产者而言，StoryMem可以帮助他们轻松产出连贯的叙事短片，大幅提升内容专业度。
令人振奋的是，该项目发布后短短几天，社区就展现出极高的活跃度。开发者们已经开始探索本地化部署方案，部分先行者已在ComfyUI中实现了初步工作流，支持本地运行生成长视频，进一步降低了使用门槛。AIbase专家认为，长视频一致性一直是AI生成领域的核心痛点，而StoryMem以轻量高效的方式成功破解这一难题，极大地推动了开源视频模型向实用叙事工具的演进。展望未来，随着更多多模态能力的融合，StoryMem在广告、影视和内容创作领域的应用潜力将得到进一步释放。
项目地址：https://github.com/Kevin-thu/StoryMem