为什么值得读
像素空间生成 Transformer 的成本死结是:一个 patch 一个 token,细节越多、全局注意力越贵。这篇从 token 的「角色分工」下手解结,思路干净、数字扎实(ICLR 2027 在审),和昨天的 FVQ 一起看会发现视觉 token 化的设计空间正在被快速重画。
观察:细节不需要全球通信
作者的核心观察是:低频结构(大块的构图、光照)受益于全局信息交换,而高频细节(纹理、边缘)本来就可以局部建模。
那么「更多细节 = 更多 token = 更贵」这个等式就不成立——问题在于现有架构把所有 token 一视同仁地塞进全局注意力。
方法:频谱分家,注意力分层
SpecSlot 是一个像素空间的 rectified-flow Transformer。它把每个空间锚点展开成多个 slot,每个 slot 分到一段互不重叠的 DCT 频带——锚点密度(管空间覆盖)与频谱细分(管细节)从此解耦。
路由规则只有一条:每个锚点只有最低频的 slot 参与全局注意力,所有 slot 之间做局部交互。这样模型可以无限加高频细节,而全局序列长度纹丝不动。
一个空间头再为频谱预测补充局部校正;生成状态、目标与损失全程保持在像素空间,不需要 VAE。
结果:更快收敛,更便宜的高分辨率
ImageNet-256 上,与 FLOPs 匹配的 JiT 对照组最终 FID 相当,但收敛更快。
ImageNet-512 上提升明显:FID 比对照好 2.84,FLOPs 反而少 3.9%;距离 JiT-B/16 只差 0.69 FID,而成本低 38.2%。
文生图上,SpecSlot 在 DPG-Bench 上超过 JiT-B/8 达 1.06,前向成本降低 40.6%。
怎么看
这是「按角色分配算力」的又一个案例:不是所有 token 都值得全局注意力。对做视频生成、高分辨率输出的团队,这种频段路由可以直接借鉴到自己的 backbone 里。
它也再次印证了一个趋势:像素空间路线的效率瓶颈正在被逐个拆掉,VAE 潜空间不再是效率的默认理由。
主结果在 ImageNet 类别生成上,开放域大规模文生图只有 DPG-Bench 一项佐证;频段划分与 slot 数是手工设定的,自适应分配会是自然延伸;像素空间序列仍长,对显存的压力未详细讨论。
本文基于论文原文摘要与方法章节整理,观点由编辑撰写;如与原文有出入,以 arXiv 原文为准。 发现错误欢迎 邮件指正。