为什么值得读
长时探索的空间一致性一直是交互式世界模型的痛点：靠时序上下文会漂移，靠显式 3D 记忆会随流长度膨胀，而且把 RGB 渲染再编码回隐空间根本做不到实时。这篇从「记忆该存什么」下手，把增长维度从时间换成了空间。
瓶颈：记忆随视频长度线性膨胀，且要重编码
现有交互式世界模型要么依赖时序上下文，要么维护显式 3D 记忆。前者在长时程上会累积漂移；后者的记忆规模随生成流长度增长，成本不可控。
更关键的工程细节：显式 3D 记忆通常先渲染成 RGB，再由 VAE 编码回隐空间去条件化视频生成器——这一步额外编码使实时生成无法成立。
方法：Latent 3D Gaussian Memory
论文提出 L3G：结合前馈重建的效率与一种紧凑、可快速渲染的场景表示。记忆更新器与新观测区域同步「长出」新高斯并细化已有高斯，使记忆随场景范围（extent）增长，而不是随流长度增长。
每个高斯额外存一份 VAE 隐特征，因此记忆可以被直接渲染到 DiT 的隐空间，跳过 VAE 重编码。L3G-World 让记忆更新器与视频 DiT 自回归交替运行，从而在长时程上保持空间一致。
结果：三个维度的效率数字与一个速度数字
相对各自指标上最高效的既有 3D 记忆基线：3D 原语数量最多少 38.6×，记忆更新快 3.2×，记忆渲染快 359×。
这些效率余量换来的是实时性：论文报告 9 FPS 的实时世界生成，同时在生成质量与长时程空间一致性上达到 SOTA。数字均为论文自报，未做独立复现。
工程视角的注意点
9 FPS 是特定硬件与分辨率下的结果，摘要未列具体配置；接入前必须按自己的显存与分辨率重测——渲染快 359× 是相对值，不保证绝对预算够用。
「记忆随场景范围增长」意味着大世界长时间漫游仍会累积高斯数量，长期成本曲线需看正文；摘要页未标注开源代码仓库，仅有项目页。
9 FPS 未标注硬件/分辨率等完整配置，不可直接外推；记忆随场景范围增长，超大世界长时漫游的绝对成本摘要未给曲线；数字（38.6×/3.2×/359×）均为作者自报基线对比，本站未复现；摘要页无代码链接，仅项目页。
本文基于论文原文摘要与方法章节整理，观点由编辑撰写；如与原文有出入，以 arXiv 原文为准。 内容为信息整理与技术评论，不构成投资或决策建议。 发现错误请通过站内纠错页提交（记录可查），修订记录只增不删。