首页开源项目论文解读归档收藏关于
首页/ 论文解读/ 2610.40647

SpecSlot:像素级生成的细节不必用 token 数来换

Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers

核心贡献 / TL;DR

把每个空间锚点拆成多个 DCT 频段 slot,只让最低频 slot 参加全局注意力、其余全部局部交互——细节变多时全局序列不增长,ImageNet-512 上 FID 提升 2.84 且 FLOPs 还少 3.9%。

为什么值得读

像素空间生成 Transformer 的成本死结是:一个 patch 一个 token,细节越多、全局注意力越贵。这篇从 token 的「角色分工」下手解结,思路干净、数字扎实(ICLR 2027 在审),和昨天的 FVQ 一起看会发现视觉 token 化的设计空间正在被快速重画。

观察:细节不需要全球通信

作者的核心观察是:低频结构(大块的构图、光照)受益于全局信息交换,而高频细节(纹理、边缘)本来就可以局部建模。

那么「更多细节 = 更多 token = 更贵」这个等式就不成立——问题在于现有架构把所有 token 一视同仁地塞进全局注意力。

方法:频谱分家,注意力分层

SpecSlot 是一个像素空间的 rectified-flow Transformer。它把每个空间锚点展开成多个 slot,每个 slot 分到一段互不重叠的 DCT 频带——锚点密度(管空间覆盖)与频谱细分(管细节)从此解耦。

路由规则只有一条:每个锚点只有最低频的 slot 参与全局注意力,所有 slot 之间做局部交互。这样模型可以无限加高频细节,而全局序列长度纹丝不动。

一个空间头再为频谱预测补充局部校正;生成状态、目标与损失全程保持在像素空间,不需要 VAE。

结果:更快收敛,更便宜的高分辨率

ImageNet-256 上,与 FLOPs 匹配的 JiT 对照组最终 FID 相当,但收敛更快。

ImageNet-512 上提升明显:FID 比对照好 2.84,FLOPs 反而少 3.9%;距离 JiT-B/16 只差 0.69 FID,而成本低 38.2%。

文生图上,SpecSlot 在 DPG-Bench 上超过 JiT-B/8 达 1.06,前向成本降低 40.6%。

怎么看

这是「按角色分配算力」的又一个案例:不是所有 token 都值得全局注意力。对做视频生成、高分辨率输出的团队,这种频段路由可以直接借鉴到自己的 backbone 里。

它也再次印证了一个趋势:像素空间路线的效率瓶颈正在被逐个拆掉,VAE 潜空间不再是效率的默认理由。

局限与存疑

主结果在 ImageNet 类别生成上,开放域大规模文生图只有 DPG-Bench 一项佐证;频段划分与 slot 数是手工设定的,自适应分配会是自然延伸;像素空间序列仍长,对显存的压力未详细讨论。

标签:图像生成像素空间注意力效率Rectified Flow

本文基于论文原文摘要与方法章节整理,观点由编辑撰写;如与原文有出入,以 arXiv 原文为准。 发现错误欢迎 邮件指正。