跳至内容
第 6 章 推测解码:MTP、EAGLE、DFlash2 为什么能让解码快 2–3 倍还不掉分

第 6 章 推测解码:MTP、EAGLE、DFlash2 为什么能让解码快 2–3 倍还不掉分

所属专题:本地大模型架构与推理框架详解

本机 27B 的代码续写从约 25 到 63.4 token/s。省下来的时间来自合并验证,不是放宽了采样规则:严格验证保的是目标分布,不承诺随机采样逐字相同;贪心也要看数值实现。 这一章讲:

  • 这为什么可能(“验证比生成便宜”);
  • 为什么在数学上可以保证不改变输出分布;
  • 各种“草稿”是怎么来的:独立小模型、n-gram、Medusa、EAGLE、MTP、DFlash 系列;
  • 代码、JSON 和散文的速度为什么不同,并发时该拿哪组基线来比;
  • 微调、量化、温度怎么影响它。

来源标记:【论文】【官方】【源码】【作者自报】【社区】【本机实测】【推断】。


6.1 核心直觉:读一次权重,验证好几个 token

第 5 章说过,单请求解码是带宽受限的:每一步都要把 20.9 GB 权重读一遍,计算单元大部分时间在等数据。

那么,同样读一遍权重,如果一次喂进去的不是 1 个 token 而是 4 个,花的时间几乎一样(计算量涨 4 倍,但本来就是空闲的)。

推测解码就利用这一点:

第 1 步:用一个很便宜的“草稿”猜出接下来 3 个 token:  “的” “春” “天”
第 2 步:把这 3 个 token 一次性喂给大模型(一次前向,和生成 1 个 token 几乎一样快)
         大模型在每个位置都给出它自己的预测:
            位置 1:大模型也会选“的”   → 接受
            位置 2:大模型也会选“春”   → 接受
            位置 3:大模型想选“风”,不是“天” → 拒绝,并用“风”替换
第 3 步:这一轮得到“的 春 风”3 个 token,只花了 1 次大模型前向 + 一点点草稿成本

就算草稿全猜错,也至少能得到大模型自己在位置 1 的那个 token,这轮仍有输出,但草稿和验证的额外耗时可能让它慢于普通解码。

这和 BERT 有一点像:BERT 一次前向就能给序列里每个位置都输出预测。大模型在验证时也是这样,一次前向给出所有草稿位置上“我自己会选什么”。


6.2 为什么输出不变:拒绝采样

6.2.1 贪心解码(温度 0)时很简单

每个位置大模型取概率最大的 token。草稿 token 和它一样就接受,不一样就换成它的,后面的草稿全部丢掉。若验证批与逐步解码的目标模型在每个位置选出同一 token,最终输出就逐字一致。

6.2.2 采样(温度 > 0)时也能保证

这时“输出一样”指的是分布一样。Leviathan 等(arXiv 2211.17192)和 Chen 等(arXiv 2302.01318)给出的规则【论文】:

草稿按分布 q 提出 token x,大模型在这个位置的分布是 p
  如果 q(x) ≤ p(x):接受 x
  否则:以概率 p(x)/q(x) 接受;被拒绝时,从 max(0, p − q) 归一化后的分布里重新采样

论文证明,按这个规则得到的 token,分布严格等于 p,和大模型自己采样完全相同。直觉:草稿“猜多了”的部分被按比例砍掉,“猜少了”的部分在重采样时补上。

推测解码只影响速度,不影响质量。所以第 4 章说 MTP 接受率下降只会变慢、不会变笨。

(实现层面有个小注意点:浮点运算的顺序不同,一次喂 4 个 token 和一次喂 1 个 token 的结果可能有最后几位的差别,极少数情况下会让贪心选择翻转。rdna-boosts 专门保证了草稿深度 ≤ 7 时逐字节一致,叫“贪心纯度”【源码】。)


6.3 速度公式

6.3.1 每轮能得到几个 token

设每个草稿 token 被接受的概率是 α,每轮猜 γ 个。假设各位置独立,每轮期望得到的 token 数【论文:Leviathan 式 1】:

E = (1 − α^(γ+1)) / (1 − α)

算例:

αγ = 1γ = 3γ = 5γ = 8
0.51.501.881.972.00
0.651.652.352.642.80
0.81.802.953.694.33
0.91.903.444.696.13

两个规律:

  • α 决定上限:再怎么增加 γ,E 也不会超过 1/(1−α)。α = 0.65 时最多约 2.86。
  • γ 的收益递减:α 不高时,猜太长纯属浪费。

6.3.2 实际加速倍数

草稿本身也要花时间。设草稿一步的成本是大模型一步的 c 倍,先近似认为一次并行验证和目标模型单步等时;实际验证若更慢,需要把分母中的 1 换成相对验证耗时。此近似下的加速因子【论文:Leviathan 定理 3.8】:

加速 ≈ (1 − α^(γ+1)) / ((1 − α) · (γ·c + 1))
  • 独立小模型做草稿,c 约 0.05:α = 0.8、γ = 3 时,2.95 / 1.15 ≈ 2.6 倍;
  • MTP、EAGLE 这类挂在大模型身上的草稿头,c 更小(只有一层)。

6.3.3 对照本机

日志里的约 0.65 是全程被接受的草稿 token 数除以全部提出的草稿 token 数,后面没走到的位置也占分母。假如每轮确实提 3 个,平均接受数就是 3 × 0.65 = 1.95;若每轮另提交一个目标 token,就是约 2.95 个/轮。只有上限 3 时,应该乘实际每轮平均提案数。

反过来,若 给定前面都已接受,第 1、2、3 个位置各自的条件接受概率都假设是 0.65,那么能走到各位置的概率依次是 0.65、0.65²、0.65³。期望提交数是 1 加上这三项,约 2.35。

两种 0.65 的分母不同,2.35 和 2.95 不是上下界。每轮提交数也不是墙钟加速比:后者还要算打草稿和验证花的时间。本机代码的 63.4 ÷ 25 ≈ 2.5 是从速率另算的。

开 MTP 后,代码 63.4、JSON 71.0、英文 46.5、中文 39.2 tok/s;不开时几类内容速度接近。这与草稿对不同内容有不同接受率相符,并非对每项开销的单独测量。


6.4 草稿从哪里来

方法草稿是什么要不要额外训练代表
独立小模型同一家族的小模型(比如 0.6B 给 27B 打草稿)不用(分词器要一致)原始论文
n-gram / 提示查找在已有文本(提示或已生成内容)里找相同的片段,照抄后面的 token不用llama.cpp ngram-*,vLLM N-gram / Suffix
Medusa在大模型最后一层上加几个并行的头,分别预测 +1、+2、+3 位置训练这几个头arXiv 2401.10774
EAGLE 1 / 2 / 3一个小的自回归层,以大模型的隐状态为输入,一步步出草稿训练草稿层arXiv 2401.15077、2406.16858、2503.01840
MTP模型预训练时就带的“多 token 预测”层官方已经训好DeepSeek-V3、Qwen3.8
DFlash / DSpark / DFlash2小的块扩散模型,一次前向直接出一整块草稿训练草稿器arXiv 2602.06036、Inco AI

6.4.1 n-gram:免费但挑场景

最简单:如果模型正在“复述”提示里已有的东西(改写代码、引用文档、推理模型在最终答案里重复思考结论),直接从原文里抄。不需要任何模型,成本几乎为零。

stew675 的测试:ngram-mod 单独用在“逐字复述”内容上能到 293 token/s,但对推理、散文、代码几乎没用(约 30,等于不加速)【作者自报,PR #27210】。

llama.cpp 允许组合使用,比如 --spec-type draft-mtp,ngram-mod;Strata 也只在实测划算时开启提示查找(代码编辑 +6–11%)【官方】。

6.4.2 Medusa 和 EAGLE:给大模型装草稿头

  • Medusa:多个头并行猜不同位置。问题是第 3 个头不知道第 2 个头猜了什么,越远越不准。用树状注意力同时验证多种组合来弥补。Medusa-1(主干冻结)超过 2.2 倍,Medusa-2(联合微调)2.3–3.6 倍【论文】。
  • EAGLE:草稿层自回归地在特征层面(大模型倒数第二层的隐状态)出草稿,同时喂入已确定的 token 消除不确定性。70B 上 2.7–3.5 倍【论文】。
  • EAGLE-2:根据草稿的置信度动态调整草稿树的形状,3.05–4.26 倍【论文】。
  • EAGLE-3:不再预测特征而直接预测 token,融合多层特征,最高 6.5 倍【论文】。

6.4.3 MTP:模型自带的草稿头

MTP(multi-token prediction)本来是一个训练目标:预训练时除了预测下一个 token,还让一个额外的小模块预测再下一个 token,让主干学到更“有远见”的表示【论文:DeepSeek-V3】。

推理时这个模块可以直接丢掉,也可以拿来当草稿头。DeepSeek-V3 报告第二个 token 的接受率 85–90%,每秒 token 数提升 1.8 倍【论文】。

Qwen3.8-27B 的 MTP 是 GGUF 里的 blk.64:一层完整的 Transformer 块(注意力 + FFN),输入是主干最后的隐状态加上刚生成 token 的嵌入(第 2 章 2.3.5 节)。llama.cpp 用法:

--spec-type draft-mtp --spec-draft-n-max 3

--spec-draft-n-max 默认 3。27B 只有一层 MTP 权重。推理时要连续猜 3 个,就复用这层并把自己的输出喂回去;越往后越依赖前面的草稿。

优点:

  • 不用另外下载和加载草稿模型;
  • 草稿和主干是一起训练的,α 天然高;
  • 成本低(一层 vs 主干的 64 层)。

缺点:主干被微调后,MTP 头没跟着调,α 可能下降(第 4 章 4.4 节)。

6.4.4 DFlash 系列:一次出一整块草稿

MTP 和 EAGLE 出草稿都是一个一个来,猜 8 个就要跑 8 次草稿层。

DFlash(z-lab,arXiv 2602.06036,ICML 2026)【论文】换了思路:用一个小的块扩散(block diffusion)模型,一次前向并行输出整块草稿 token。它把大模型的隐状态特征注入草稿器作为条件。号称超过 6 倍无损加速,最高比 EAGLE-3 快 2.5 倍。

“扩散”在这里的意思:不是从左到右一个个生成,而是对一整块位置同时预测、迭代修正(第 2 章 2.8 节讲过图像扩散,原理相通,只是作用在离散 token 上)。

DSpark:在 DFlash 上加一个轻量的“马尔可夫头”,让块内每个位置能参考前一个位置,仍是一次前向出一块【官方:llama.cpp 文档】。

DFlash2(Inco AI,2026 年 8 月)【作者自报】针对 DFlash 的两个问题:

  1. 每个位置只取最可能的 1 个 token,相邻位置可能互相矛盾 → 每个位置保留 16 个候选,用一个小的打分项给相邻对打分,沿最佳路径走;
  2. 块的后半段准确率衰减 → 在每个子层前后加块内的小卷积。

合计只增加约 1.3% 的循环延迟。在 Qwen3.8-27B 上平均接受长度:DFlash2 4.80、MTP 4.28、DSpark 3.62【作者自报】。

本机用到 DFlash2 的是 Paiton(MXFP4 / 3 位 + DFlash2)。HF 上的 tcclaviger/Qwen3.8-27B-DFlash2-FP8 是 Inco AI 草稿器的 FP8 量化版,Apache-2.0,“不是独立的语言模型,要跑在推测解码服务器里”【官方】。原版要 FP8 硬件,3090 没有。


6.5 草稿深度:猜几个最合适

固定猜 3 个不一定最好。内容可预测时多猜能多赚;不可预测时多猜纯属浪费。

stew675 的自适应 MTP 深度(llama.cpp PR #27210,截至调研时还没合并)【作者自报】:

  • 连续几轮全部接受 → 深度 +1;
  • 有拒绝就累积“压力”,超过阈值深度 −1;
  • 深度越高掉得越快。

他在 2 × R9700、Qwen3.8-27B Q8_0、贪心解码下的测试(token/s):

内容不推测固定深度 3自适应 3–12只用 ngram-mod自适应 + ngram-mod
推理约 3051.751.4约 30—
散文约 3055.956.6约 30—
代码约 3069.378.0约 30—
逐字复述约 3081.9147.5292.9321

这是理解推测解码最好的一张表:同一个模型、同一块硬件、不推测时速度和内容无关;推测之后,内容越可预测,加速越大,从推理的 1.7 倍到复述的 10 倍以上。

作者的经验:推理和散文的最优深度是 2–3,深度 4 反而有害;--spec-draft-n-max 小于 7 时不建议用自适应。


6.6 为什么代码和 JSON 快,散文慢

可预测性 = 下一个 token 的分布熵低。

  • JSON:{、"、:、,、键名、缩进,几乎是确定的。本机 71.0 token/s,最快;Signal 作者报告 JSON 上 MTP 接受率 94%【作者自报】。
  • 代码:括号、关键字、重复的变量名、固定的语法结构。本机 63.4。
  • 英文散文:用词选择多,熵高。46.5。
  • 中文:本机最慢(39.2)。【推断】可能原因:中文每个 token 携带的信息量更大,选择更多;MTP 的训练数据分布也可能有影响。没有找到专门的资料。

DFlash2 模型卡也是同样的顺序:GSM8K / MATH(数学推导模式性强)的接受长度 > HumanEval / MBPP(代码)> MT-Bench(开放聊天)【作者自报】。


6.7 并发会怎样改变推测解码的收益

推测解码是拿“空闲的算力”换“少读几次权重”。

  • 单请求:GPU 大部分算力空闲,验证 4 个 token 几乎免费;
  • 高并发:批处理已经把权重读取摊薄了(第 5 章 5.3.2 节),算力接近饱和;验证被拒绝的草稿会占用更多算力,加速可能缩小甚至转为减速,取决于负载和草稿方法。

DFlash2 模型卡的数据(Qwen3.8-27B,H200,SGLang,输出 token/s)【作者自报】:

并发不推测MTPDFlash2
1,GSM8K68.9178.5(2.59 倍)236.1(3.43 倍)
8,GSM8K4671022(2.19 倍)1329(2.84 倍)
32,GSM8K13301381(1.04 倍)1923(1.45 倍)
32,MT-Bench—0.77 倍(比不用还慢)1.01 倍

EAGLE-3 论文也报告:SGLang 上 batch 64 时吞吐只提高 1.38 倍,低 batch 时是好几倍【论文】。

所以 vLLM 文档把推测解码定位为“面向中低 QPS、带宽受限场景,降低每 token 延迟”【官方】。

本机 Vulkan + MTP,单请求代码 63.4,四并发合计 49.1 tok/s【本机实测】。这说明这一配置在该负载下扩展不佳。要回答“四路开 MTP 值不值”,还缺同样四路、相同提示与长度、关闭推测的基线。

Strata 单路 79.8,四并发合计 89.7 tok/s,是另一套配置的扩展情况,同样不能替代开关对照。


6.8 混合架构的额外麻烦:状态回滚

【推断】纯注意力模型的推测解码很好处理:草稿被拒绝了,把 KV cache 里对应位置的条目删掉就行。

Qwen3.8 有 48 层 Gated DeltaNet,它的状态是一个累积的矩阵,每处理一个 token 就被改写一次,没法“删掉最后两个 token 的影响”。被拒绝时要恢复到被接受位置的状态,就得在验证时保存每个位置的状态快照,或者重算。每个请求的 GDN 状态约 144 MiB,保存多份快照的显存和带宽开销都不小。

这也是为什么混合架构模型的推测解码、前缀缓存实现得比较晚、各引擎差异大(NInfer 文档专门讨论了递归状态的快照问题【源码】)。


6.9 什么会影响接受率

因素影响例子
内容类型最大JSON > 代码 > 英文 > 中文(6.6 节)
温度同时改变目标和草稿的分布,接受率取决于二者的匹配程度比较加速数字时,应注明贪心或采样设置
主干微调通常下降,也可能上升本机 Q6_K 变体 0.63–0.66,基本不变;Signal 的 JSON 上升到 94%
MTP 头量化量化越重越低社区报告重量化后 48% → 33%;MTP 张量丢失则为 0
草稿深度太深浪费推理类最优 2–3(6.5 节)
并发不影响 α,影响收益NInfer 测试中 α 约 68–69% 不随并发变化,吞吐上升是批处理摊薄【作者自报】

一个陷阱:贪心解码对推测解码最友好,但贪心也容易让模型陷入重复循环。循环内容极其可预测,接受率接近 100%,速度数字很漂亮,其实是在高速输出废话。PR #27210 里“逐字复述”的 147–321 token/s 就是高可预测内容的极端情况。Flash-Next 在温度 0 下会死循环(第 7 章),看测速数字时要注意。


6.10 本机该怎么用

  • llama.cpp 主服务:--spec-type draft-mtp --spec-draft-n-max 3 已经是合理默认。如果主要输出代码 / JSON,可以试 4;推理类保持 3。
  • 自适应深度:在 rdna-boosts 分支里可用(draft-mtp-adaptive),作者建议配 --spec-draft-n-max 12。本机没单独测过。
  • 加 n-gram:改代码、做摘要等“复述多”的场景可以叠加 ngram-mod。
  • 多人并发:按目标并发数测同一批请求,比较开关推测时的总吞吐和每路延迟。
  • 换微调版本:先测接受率(llama-server 日志里有),不要假设和原版一样。

本章小结

  1. 推测解码 = 便宜的草稿先猜,大模型一次验证多个;利用的是解码阶段空闲的算力。
  2. 严格的拒绝采样在数学上保目标采样分布,不承诺每次抽到同一串字。贪心模式在目标选择相同时逐字一致;数值误差可能改变近似并列的选择。
  3. 若各位置的条件接受率同为 α 且 α < 1,1/(1−α) 是每轮期望提交数的极限。实际提速还取决于草稿和验证的耗时。
  4. 草稿来源从独立小模型、n-gram,到 Medusa、EAGLE、MTP,再到一次出整块的 DFlash2。
  5. 并发时先找同并发无推测基线,再判断收益。混合架构还要处理递归状态的回滚。

参考资料(本章)

论文

  • Leviathan 等,推测解码(速度公式、无损证明):https://arxiv.org/abs/2211.17192
  • Chen 等,Speculative Sampling:https://arxiv.org/abs/2302.01318
  • Medusa:https://arxiv.org/abs/2401.10774
  • EAGLE:https://arxiv.org/abs/2401.15077 ;EAGLE-2:https://arxiv.org/abs/2406.16858 ;EAGLE-3:https://arxiv.org/abs/2503.01840
  • DeepSeek-V3 技术报告(§2.2 MTP,§5.4.3 接受率):https://arxiv.org/abs/2412.19437
  • DFlash:https://arxiv.org/abs/2602.06036 ;项目页:https://z-lab.ai/projects/dflash/ ;代码:https://github.com/z-lab/dflash

博客与模型卡

  • Inco AI,DFlash 2: Keep Drafting Parallel:https://inco.ai/blog/dflash2/
  • DFlash2-FP8 模型卡(含并发扫描表):https://huggingface.co/tcclaviger/Qwen3.8-27B-DFlash2-FP8

官方文档与实现

  • llama.cpp 推测解码文档(全部 --spec-type 选项):https://github.com/ggml-org/llama.cpp/blob/master/docs/speculative.md
  • llama.cpp PR #27210(自适应 MTP 深度,含 2 × R9700 数据和长讨论):https://github.com/ggml-org/llama.cpp/pull/27210
  • llama.cpp PR #22105(DFlash 支持):https://github.com/ggml-org/llama.cpp/pull/22105
  • vLLM 推测解码文档:https://github.com/vllm-project/vllm/blob/main/docs/features/speculative_decoding/README.md
  • vLLM MTP:https://github.com/vllm-project/vllm/blob/main/docs/features/speculative_decoding/mtp.md

采样相关

  • Holtzman 等,The Curious Case of Neural Text Degeneration(重复退化与 nucleus 采样):https://arxiv.org/abs/1904.09751
  • min-p 采样:https://arxiv.org/abs/2407.01082

本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。

最后更新于