模型推理状态排名：整段复用与 checkpoint 分开算
这里的“每 token 占用”是整段保存载荷 ÷ token 数。全长 KV 的增长量另外列出；linear / SSM 的递归矩阵、卷积历史、索引池化尾块，以及 PLE / Engram 的必要历史均计入固定状态。按占用从小到大排名，数值小不代表模型能力强。
- 整段末端复用：保存长度 T 的全局历史、末端 SWA 窗口和一份固定状态，只保证在 T 处恢复并继续处理后续输入。
- Checkpoint：每 P 个 token 保存一个恢复点，并补存末端 T。全局历史保留一份；每个恢复点的递归 / 卷积 / 尾块状态分别保存。SWA 窗口可选择重叠部分去重。
- 任意边界复用：全局与 SWA 历史各保留一份，同时在每个 token 边界保存固定状态快照，允许在任意匹配位置直接续算。此列是独立密集快照方案，不是理论最小存储下界。
卷积与索引尾块固定按 BF16，DeepSeek 压缩器按 FP32，token / 坐标 ID 按 int64；切换 KV 精度不会把所有状态一并减半。1 KiB = 1024 B，1 MiB = 1024 KiB。
Kimi K3 示例：展开对比整段末端、checkpoint 与任意边界保存
| 载荷 | 整段末端 | Checkpoint | 任意边界 |
|---|
此例随 T / P / 精度变化。这里会保留每个选定恢复点；实际引擎若淘汰中间快照，只保留会话或热点边界，占用会更低。缓存快照为只读，继续推理可能还需要一份可变工作状态。
完整排名
点击模型名展开组件、计算式与官方来源；并列同名次，搜索不改变名次。
| 名次 | 模型 / 参数规模 | 架构 | 全长增长项 KiB / token |
固定状态 S MiB / 恢复点 |
整段末端复用 KiB / token · 整段总量 |
Checkpoint KiB / token · 仓库总量 |
任意边界复用 KiB / token · 仓库总量 |
|---|
计算公式与恢复语义
令 G(T) 为全长 KV / MLA latent / 稀疏索引；aj 为第 j 组 SWA 每 token 的字节数，Wj 为窗口；S 为一份递归、卷积、压缩尾块和其他固定状态的合计。压缩历史按完整组数 floor(T/r) 计算。
| 策略 | 保存字节数 | 可以恢复哪里 |
|---|---|---|
| 整段末端 | G(T) + Σ aⱼ min(T,Wⱼ) + S | 边界 T；更早的线性状态不能从 S(T) 直接切片得到。 |
| Checkpoint · 独立窗口 | G(T) + Σⱼ Σe∈E aⱼ min(e,Wⱼ) + |E|S | E 中同时具备各层状态的边界。递归模型通常需从最近 checkpoint 重放剩余输入。 |
| Checkpoint · 窗口去重 | G(T) + Σ aⱼ |∪e∈E [max(0,e−Wⱼ),e)| + |E|S | 同一恢复边界要求；SWA 通过共享历史片段构造窗口。 |
| 任意 token 边界 | G(T) + Σ aⱼ T + T·S | 每个 1…T 边界。S 是独立完整快照，没有做矩阵差分或卷积历史去重。 |
E = {P, 2P, …, floor(T/P)P} ∪ {T}，末端去重，因此 |E| = ceil(T/P)。边界 0 的零状态隐式存在，不额外存储。全长 KV 始终只计一份，不能把它也重复乘 |E|。
- 常规 GQA / MHA：每 token 为
Σ层 Hkv × (Dk+Dv) × b；纯全长 attention 可切片任意前缀，三种策略载荷相同。 - MLA：采用吸收投影后的 latent + 位置分支，不按展开的 K/V 计算。稀疏 top-k 减少读取，未必减少已保存的历史；index K 另计。
- GDN / KDA：每层递归矩阵为
Hv × Dk × Dv × b_state，卷积历史为(2HkDk+HvDv) × (K−1) × 2；KDA 这里 Hk=Hv。Mamba2 为H × Phead × Nstate × b_state，卷积通道为H×Phead + 2×G×Nstate。 - Hybrid 命中：所有 full / SWA / recurrent / index-tail 组件必须对应同一个已处理 token 边界，且模型、token 前缀、精度和位置语义一致。只有“KV 命中”或最新 S(T)，不能据此宣称较短前缀可完整复用。Kimi K3 §5.4.1
- 重放界限：保存每个间隔恢复点时，递归模型在一般匹配位置最多重放 P−1 个 token（若命中 T，无需重放）。纯 SWA 模型可利用实际窗口覆盖恢复更多边界；当去重窗口已覆盖整段时，不应人为强迫它只在 E 中命中。
- 窗口去重的前提：同一序列、同层、同精度的重叠 token 内容相同，存储层支持切片共享。仅对 SWA KV 做区间并集；S 内部的卷积、n-gram、尾块仍独立快照，因此结果不是最小信息量下界。可进一步用共享卷积输入、差分或 replay 优化，但需增加恢复逻辑。
- 保存时机：假设模型已处理 token 0…T−1，接下来继续处理新的输入 token。若要恢复后立即采样第 T 个 token，还需 last logits，或末层 hidden + LM-head 重算；这些输出与采样 / RNG 状态不属于本表的 KV / 持久前向状态。
范围、状态清单与实现差异
- 已纳入：全长 K/V、压缩 latent、位置分支、稀疏 index K、SWA、GDN/KDA 递归矩阵与短卷积、Mamba2 SSM 与卷积、LFM2 短卷积、DeepSeek 压缩器、GLM key / gate-score 尾块、QSA key / MRoPE ring、PLE 膨胀卷积与 n-gram、Engram 有限 token 历史。
- 统一存储约定：卷积保存 K−1 槽必要历史；部分参考实现分配 K 槽。QSA / DSA / DeepSeek 压缩器按代码固定 buffer 形状保存，即使某些槽在组边界无效。没有把张量 allocator 预留容量当作逻辑载荷。
- 没有计入：模型权重、静态卷积核与词表、MLP / 路由 / AttnRes 的瞬时激活、视觉编码器中间激活、MTP / EAGLE / DSpark 草稿、并发请求的额外工作副本、TP 复制、页对齐、空洞、哈希 / 页表等运行时元数据。
- 精度：8-bit 开关只估算数据载荷，不含 scale / zero-point / 对齐；不能当作引擎实测。递归状态降为 16-bit 只表示容量情景，没有验证数值精度或所有模型的后端支持。权重的 FP4 / FP8 与 KV 精度无关。
- 小模型与经典对照：纳入 OLMo 2、SmolLM2、Mixtral、Mamba2、Zamba2 等广泛使用或架构参考模型，并不声称每个都是当前能力 SOTA。只按公开可核验架构比较；闭源旗舰没有足够参数时不给虚构字节数。
- 上下文：超过所下载 checkpoint 的 max_position_embeddings 默认不参加当前长度的排名，可勾选显示理论外推。Mamba2 官方配置未给这个上限：仅能作状态容量计算，不代表已验证任意长度的质量。
- 验证范围：来自官方配置 / 实现的静态推导与计算器检查；未加载权重、未运行 GPU、未生成实际状态张量。JSON 保存了模型状态组件、字节数、公式、来源和配置 SHA-256，便于重新计算。
新增模型配置来自各发布方的 Hugging Face 仓库；每行展开可查看精确 checkpoint 链接。Mamba / 卷积状态规范化参考 SGLang 状态形状，索引尾块另核对 QSA pool 和 DSA pool。
本页为独立、可离线打开的 HTML。完整数据 JSON · 返回主页。最新配置可能变化；本次抓取文件的 SHA-256 已随 JSON 保存。