第 6 章 推测解码:MTP、EAGLE、DFlash2 为什么能让解码快 2–3 倍还不掉分
本机 27B 的代码续写从约 25 到 63.4 token/s。省下来的时间来自合并验证,不是放宽了采样规则:严格验证保的是目标分布,不承诺随机采样逐字相同;贪心也要看数值实现。 这一章讲:
- 这为什么可能(“验证比生成便宜”);
- 为什么在数学上可以保证不改变输出分布;
- 各种“草稿”是怎么来的:独立小模型、n-gram、Medusa、EAGLE、MTP、DFlash 系列;
- 代码、JSON 和散文的速度为什么不同,并发时该拿哪组基线来比;
- 微调、量化、温度怎么影响它。
来源标记:【论文】【官方】【源码】【作者自报】【社区】【本机实测】【推断】。
6.1 核心直觉:读一次权重,验证好几个 token
第 5 章说过,单请求解码是带宽受限的:每一步都要把 20.9 GB 权重读一遍,计算单元大部分时间在等数据。
那么,同样读一遍权重,如果一次喂进去的不是 1 个 token 而是 4 个,花的时间几乎一样(计算量涨 4 倍,但本来就是空闲的)。
推测解码就利用这一点:
第 1 步:用一个很便宜的“草稿”猜出接下来 3 个 token: “的” “春” “天”
第 2 步:把这 3 个 token 一次性喂给大模型(一次前向,和生成 1 个 token 几乎一样快)
大模型在每个位置都给出它自己的预测:
位置 1:大模型也会选“的” → 接受
位置 2:大模型也会选“春” → 接受
位置 3:大模型想选“风”,不是“天” → 拒绝,并用“风”替换
第 3 步:这一轮得到“的 春 风”3 个 token,只花了 1 次大模型前向 + 一点点草稿成本就算草稿全猜错,也至少能得到大模型自己在位置 1 的那个 token,这轮仍有输出,但草稿和验证的额外耗时可能让它慢于普通解码。
这和 BERT 有一点像:BERT 一次前向就能给序列里每个位置都输出预测。大模型在验证时也是这样,一次前向给出所有草稿位置上“我自己会选什么”。
6.2 为什么输出不变:拒绝采样
6.2.1 贪心解码(温度 0)时很简单
每个位置大模型取概率最大的 token。草稿 token 和它一样就接受,不一样就换成它的,后面的草稿全部丢掉。若验证批与逐步解码的目标模型在每个位置选出同一 token,最终输出就逐字一致。
6.2.2 采样(温度 > 0)时也能保证
这时“输出一样”指的是分布一样。Leviathan 等(arXiv 2211.17192)和 Chen 等(arXiv 2302.01318)给出的规则【论文】:
草稿按分布 q 提出 token x,大模型在这个位置的分布是 p
如果 q(x) ≤ p(x):接受 x
否则:以概率 p(x)/q(x) 接受;被拒绝时,从 max(0, p − q) 归一化后的分布里重新采样论文证明,按这个规则得到的 token,分布严格等于 p,和大模型自己采样完全相同。直觉:草稿“猜多了”的部分被按比例砍掉,“猜少了”的部分在重采样时补上。
推测解码只影响速度,不影响质量。所以第 4 章说 MTP 接受率下降只会变慢、不会变笨。
(实现层面有个小注意点:浮点运算的顺序不同,一次喂 4 个 token 和一次喂 1 个 token 的结果可能有最后几位的差别,极少数情况下会让贪心选择翻转。rdna-boosts 专门保证了草稿深度 ≤ 7 时逐字节一致,叫“贪心纯度”【源码】。)
6.3 速度公式
6.3.1 每轮能得到几个 token
设每个草稿 token 被接受的概率是 α,每轮猜 γ 个。假设各位置独立,每轮期望得到的 token 数【论文:Leviathan 式 1】:
E = (1 − α^(γ+1)) / (1 − α)算例:
| α | γ = 1 | γ = 3 | γ = 5 | γ = 8 |
|---|---|---|---|---|
| 0.5 | 1.50 | 1.88 | 1.97 | 2.00 |
| 0.65 | 1.65 | 2.35 | 2.64 | 2.80 |
| 0.8 | 1.80 | 2.95 | 3.69 | 4.33 |
| 0.9 | 1.90 | 3.44 | 4.69 | 6.13 |
两个规律:
- α 决定上限:再怎么增加 γ,E 也不会超过 1/(1−α)。α = 0.65 时最多约 2.86。
- γ 的收益递减:α 不高时,猜太长纯属浪费。
6.3.2 实际加速倍数
草稿本身也要花时间。设草稿一步的成本是大模型一步的 c 倍,先近似认为一次并行验证和目标模型单步等时;实际验证若更慢,需要把分母中的 1 换成相对验证耗时。此近似下的加速因子【论文:Leviathan 定理 3.8】:
加速 ≈ (1 − α^(γ+1)) / ((1 − α) · (γ·c + 1))- 独立小模型做草稿,c 约 0.05:α = 0.8、γ = 3 时,2.95 / 1.15 ≈ 2.6 倍;
- MTP、EAGLE 这类挂在大模型身上的草稿头,c 更小(只有一层)。
6.3.3 对照本机
日志里的约 0.65 是全程被接受的草稿 token 数除以全部提出的草稿 token 数,后面没走到的位置也占分母。假如每轮确实提 3 个,平均接受数就是 3 × 0.65 = 1.95;若每轮另提交一个目标 token,就是约 2.95 个/轮。只有上限 3 时,应该乘实际每轮平均提案数。
反过来,若 给定前面都已接受,第 1、2、3 个位置各自的条件接受概率都假设是 0.65,那么能走到各位置的概率依次是 0.65、0.65²、0.65³。期望提交数是 1 加上这三项,约 2.35。
两种 0.65 的分母不同,2.35 和 2.95 不是上下界。每轮提交数也不是墙钟加速比:后者还要算打草稿和验证花的时间。本机代码的 63.4 ÷ 25 ≈ 2.5 是从速率另算的。
开 MTP 后,代码 63.4、JSON 71.0、英文 46.5、中文 39.2 tok/s;不开时几类内容速度接近。这与草稿对不同内容有不同接受率相符,并非对每项开销的单独测量。
6.4 草稿从哪里来
| 方法 | 草稿是什么 | 要不要额外训练 | 代表 |
|---|---|---|---|
| 独立小模型 | 同一家族的小模型(比如 0.6B 给 27B 打草稿) | 不用(分词器要一致) | 原始论文 |
| n-gram / 提示查找 | 在已有文本(提示或已生成内容)里找相同的片段,照抄后面的 token | 不用 | llama.cpp ngram-*,vLLM N-gram / Suffix |
| Medusa | 在大模型最后一层上加几个并行的头,分别预测 +1、+2、+3 位置 | 训练这几个头 | arXiv 2401.10774 |
| EAGLE 1 / 2 / 3 | 一个小的自回归层,以大模型的隐状态为输入,一步步出草稿 | 训练草稿层 | arXiv 2401.15077、2406.16858、2503.01840 |
| MTP | 模型预训练时就带的“多 token 预测”层 | 官方已经训好 | DeepSeek-V3、Qwen3.8 |
| DFlash / DSpark / DFlash2 | 小的块扩散模型,一次前向直接出一整块草稿 | 训练草稿器 | arXiv 2602.06036、Inco AI |
6.4.1 n-gram:免费但挑场景
最简单:如果模型正在“复述”提示里已有的东西(改写代码、引用文档、推理模型在最终答案里重复思考结论),直接从原文里抄。不需要任何模型,成本几乎为零。
stew675 的测试:ngram-mod 单独用在“逐字复述”内容上能到 293 token/s,但对推理、散文、代码几乎没用(约 30,等于不加速)【作者自报,PR #27210】。
llama.cpp 允许组合使用,比如 --spec-type draft-mtp,ngram-mod;Strata 也只在实测划算时开启提示查找(代码编辑 +6–11%)【官方】。
6.4.2 Medusa 和 EAGLE:给大模型装草稿头
- Medusa:多个头并行猜不同位置。问题是第 3 个头不知道第 2 个头猜了什么,越远越不准。用树状注意力同时验证多种组合来弥补。Medusa-1(主干冻结)超过 2.2 倍,Medusa-2(联合微调)2.3–3.6 倍【论文】。
- EAGLE:草稿层自回归地在特征层面(大模型倒数第二层的隐状态)出草稿,同时喂入已确定的 token 消除不确定性。70B 上 2.7–3.5 倍【论文】。
- EAGLE-2:根据草稿的置信度动态调整草稿树的形状,3.05–4.26 倍【论文】。
- EAGLE-3:不再预测特征而直接预测 token,融合多层特征,最高 6.5 倍【论文】。
6.4.3 MTP:模型自带的草稿头
MTP(multi-token prediction)本来是一个训练目标:预训练时除了预测下一个 token,还让一个额外的小模块预测再下一个 token,让主干学到更“有远见”的表示【论文:DeepSeek-V3】。
推理时这个模块可以直接丢掉,也可以拿来当草稿头。DeepSeek-V3 报告第二个 token 的接受率 85–90%,每秒 token 数提升 1.8 倍【论文】。
Qwen3.8-27B 的 MTP 是 GGUF 里的 blk.64:一层完整的 Transformer 块(注意力 + FFN),输入是主干最后的隐状态加上刚生成 token 的嵌入(第 2 章 2.3.5 节)。llama.cpp 用法:
--spec-type draft-mtp --spec-draft-n-max 3--spec-draft-n-max 默认 3。27B 只有一层 MTP 权重。推理时要连续猜 3 个,就复用这层并把自己的输出喂回去;越往后越依赖前面的草稿。
优点:
- 不用另外下载和加载草稿模型;
- 草稿和主干是一起训练的,α 天然高;
- 成本低(一层 vs 主干的 64 层)。
缺点:主干被微调后,MTP 头没跟着调,α 可能下降(第 4 章 4.4 节)。
6.4.4 DFlash 系列:一次出一整块草稿
MTP 和 EAGLE 出草稿都是一个一个来,猜 8 个就要跑 8 次草稿层。
DFlash(z-lab,arXiv 2602.06036,ICML 2026)【论文】换了思路:用一个小的块扩散(block diffusion)模型,一次前向并行输出整块草稿 token。它把大模型的隐状态特征注入草稿器作为条件。号称超过 6 倍无损加速,最高比 EAGLE-3 快 2.5 倍。
“扩散”在这里的意思:不是从左到右一个个生成,而是对一整块位置同时预测、迭代修正(第 2 章 2.8 节讲过图像扩散,原理相通,只是作用在离散 token 上)。
DSpark:在 DFlash 上加一个轻量的“马尔可夫头”,让块内每个位置能参考前一个位置,仍是一次前向出一块【官方:llama.cpp 文档】。
DFlash2(Inco AI,2026 年 8 月)【作者自报】针对 DFlash 的两个问题:
- 每个位置只取最可能的 1 个 token,相邻位置可能互相矛盾 → 每个位置保留 16 个候选,用一个小的打分项给相邻对打分,沿最佳路径走;
- 块的后半段准确率衰减 → 在每个子层前后加块内的小卷积。
合计只增加约 1.3% 的循环延迟。在 Qwen3.8-27B 上平均接受长度:DFlash2 4.80、MTP 4.28、DSpark 3.62【作者自报】。
本机用到 DFlash2 的是 Paiton(MXFP4 / 3 位 + DFlash2)。HF 上的 tcclaviger/Qwen3.8-27B-DFlash2-FP8 是 Inco AI 草稿器的 FP8 量化版,Apache-2.0,“不是独立的语言模型,要跑在推测解码服务器里”【官方】。原版要 FP8 硬件,3090 没有。
6.5 草稿深度:猜几个最合适
固定猜 3 个不一定最好。内容可预测时多猜能多赚;不可预测时多猜纯属浪费。
stew675 的自适应 MTP 深度(llama.cpp PR #27210,截至调研时还没合并)【作者自报】:
- 连续几轮全部接受 → 深度 +1;
- 有拒绝就累积“压力”,超过阈值深度 −1;
- 深度越高掉得越快。
他在 2 × R9700、Qwen3.8-27B Q8_0、贪心解码下的测试(token/s):
| 内容 | 不推测 | 固定深度 3 | 自适应 3–12 | 只用 ngram-mod | 自适应 + ngram-mod |
|---|---|---|---|---|---|
| 推理 | 约 30 | 51.7 | 51.4 | 约 30 | — |
| 散文 | 约 30 | 55.9 | 56.6 | 约 30 | — |
| 代码 | 约 30 | 69.3 | 78.0 | 约 30 | — |
| 逐字复述 | 约 30 | 81.9 | 147.5 | 292.9 | 321 |
这是理解推测解码最好的一张表:同一个模型、同一块硬件、不推测时速度和内容无关;推测之后,内容越可预测,加速越大,从推理的 1.7 倍到复述的 10 倍以上。
作者的经验:推理和散文的最优深度是 2–3,深度 4 反而有害;--spec-draft-n-max 小于 7 时不建议用自适应。
6.6 为什么代码和 JSON 快,散文慢
可预测性 = 下一个 token 的分布熵低。
- JSON:
{、"、:、,、键名、缩进,几乎是确定的。本机 71.0 token/s,最快;Signal 作者报告 JSON 上 MTP 接受率 94%【作者自报】。 - 代码:括号、关键字、重复的变量名、固定的语法结构。本机 63.4。
- 英文散文:用词选择多,熵高。46.5。
- 中文:本机最慢(39.2)。【推断】可能原因:中文每个 token 携带的信息量更大,选择更多;MTP 的训练数据分布也可能有影响。没有找到专门的资料。
DFlash2 模型卡也是同样的顺序:GSM8K / MATH(数学推导模式性强)的接受长度 > HumanEval / MBPP(代码)> MT-Bench(开放聊天)【作者自报】。
6.7 并发会怎样改变推测解码的收益
推测解码是拿“空闲的算力”换“少读几次权重”。
- 单请求:GPU 大部分算力空闲,验证 4 个 token 几乎免费;
- 高并发:批处理已经把权重读取摊薄了(第 5 章 5.3.2 节),算力接近饱和;验证被拒绝的草稿会占用更多算力,加速可能缩小甚至转为减速,取决于负载和草稿方法。
DFlash2 模型卡的数据(Qwen3.8-27B,H200,SGLang,输出 token/s)【作者自报】:
| 并发 | 不推测 | MTP | DFlash2 |
|---|---|---|---|
| 1,GSM8K | 68.9 | 178.5(2.59 倍) | 236.1(3.43 倍) |
| 8,GSM8K | 467 | 1022(2.19 倍) | 1329(2.84 倍) |
| 32,GSM8K | 1330 | 1381(1.04 倍) | 1923(1.45 倍) |
| 32,MT-Bench | — | 0.77 倍(比不用还慢) | 1.01 倍 |
EAGLE-3 论文也报告:SGLang 上 batch 64 时吞吐只提高 1.38 倍,低 batch 时是好几倍【论文】。
所以 vLLM 文档把推测解码定位为“面向中低 QPS、带宽受限场景,降低每 token 延迟”【官方】。
本机 Vulkan + MTP,单请求代码 63.4,四并发合计 49.1 tok/s【本机实测】。这说明这一配置在该负载下扩展不佳。要回答“四路开 MTP 值不值”,还缺同样四路、相同提示与长度、关闭推测的基线。
Strata 单路 79.8,四并发合计 89.7 tok/s,是另一套配置的扩展情况,同样不能替代开关对照。
6.8 混合架构的额外麻烦:状态回滚
【推断】纯注意力模型的推测解码很好处理:草稿被拒绝了,把 KV cache 里对应位置的条目删掉就行。
Qwen3.8 有 48 层 Gated DeltaNet,它的状态是一个累积的矩阵,每处理一个 token 就被改写一次,没法“删掉最后两个 token 的影响”。被拒绝时要恢复到被接受位置的状态,就得在验证时保存每个位置的状态快照,或者重算。每个请求的 GDN 状态约 144 MiB,保存多份快照的显存和带宽开销都不小。
这也是为什么混合架构模型的推测解码、前缀缓存实现得比较晚、各引擎差异大(NInfer 文档专门讨论了递归状态的快照问题【源码】)。
6.9 什么会影响接受率
| 因素 | 影响 | 例子 |
|---|---|---|
| 内容类型 | 最大 | JSON > 代码 > 英文 > 中文(6.6 节) |
| 温度 | 同时改变目标和草稿的分布,接受率取决于二者的匹配程度 | 比较加速数字时,应注明贪心或采样设置 |
| 主干微调 | 通常下降,也可能上升 | 本机 Q6_K 变体 0.63–0.66,基本不变;Signal 的 JSON 上升到 94% |
| MTP 头量化 | 量化越重越低 | 社区报告重量化后 48% → 33%;MTP 张量丢失则为 0 |
| 草稿深度 | 太深浪费 | 推理类最优 2–3(6.5 节) |
| 并发 | 不影响 α,影响收益 | NInfer 测试中 α 约 68–69% 不随并发变化,吞吐上升是批处理摊薄【作者自报】 |
一个陷阱:贪心解码对推测解码最友好,但贪心也容易让模型陷入重复循环。循环内容极其可预测,接受率接近 100%,速度数字很漂亮,其实是在高速输出废话。PR #27210 里“逐字复述”的 147–321 token/s 就是高可预测内容的极端情况。Flash-Next 在温度 0 下会死循环(第 7 章),看测速数字时要注意。
6.10 本机该怎么用
- llama.cpp 主服务:
--spec-type draft-mtp --spec-draft-n-max 3已经是合理默认。如果主要输出代码 / JSON,可以试 4;推理类保持 3。 - 自适应深度:在 rdna-boosts 分支里可用(
draft-mtp-adaptive),作者建议配--spec-draft-n-max 12。本机没单独测过。 - 加 n-gram:改代码、做摘要等“复述多”的场景可以叠加
ngram-mod。 - 多人并发:按目标并发数测同一批请求,比较开关推测时的总吞吐和每路延迟。
- 换微调版本:先测接受率(llama-server 日志里有),不要假设和原版一样。
本章小结
- 推测解码 = 便宜的草稿先猜,大模型一次验证多个;利用的是解码阶段空闲的算力。
- 严格的拒绝采样在数学上保目标采样分布,不承诺每次抽到同一串字。贪心模式在目标选择相同时逐字一致;数值误差可能改变近似并列的选择。
- 若各位置的条件接受率同为 α 且 α < 1,1/(1−α) 是每轮期望提交数的极限。实际提速还取决于草稿和验证的耗时。
- 草稿来源从独立小模型、n-gram,到 Medusa、EAGLE、MTP,再到一次出整块的 DFlash2。
- 并发时先找同并发无推测基线,再判断收益。混合架构还要处理递归状态的回滚。
参考资料(本章)
论文
- Leviathan 等,推测解码(速度公式、无损证明):https://arxiv.org/abs/2211.17192
- Chen 等,Speculative Sampling:https://arxiv.org/abs/2302.01318
- Medusa:https://arxiv.org/abs/2401.10774
- EAGLE:https://arxiv.org/abs/2401.15077 ;EAGLE-2:https://arxiv.org/abs/2406.16858 ;EAGLE-3:https://arxiv.org/abs/2503.01840
- DeepSeek-V3 技术报告(§2.2 MTP,§5.4.3 接受率):https://arxiv.org/abs/2412.19437
- DFlash:https://arxiv.org/abs/2602.06036 ;项目页:https://z-lab.ai/projects/dflash/ ;代码:https://github.com/z-lab/dflash
博客与模型卡
- Inco AI,DFlash 2: Keep Drafting Parallel:https://inco.ai/blog/dflash2/
- DFlash2-FP8 模型卡(含并发扫描表):https://huggingface.co/tcclaviger/Qwen3.8-27B-DFlash2-FP8
官方文档与实现
- llama.cpp 推测解码文档(全部
--spec-type选项):https://github.com/ggml-org/llama.cpp/blob/master/docs/speculative.md - llama.cpp PR #27210(自适应 MTP 深度,含 2 × R9700 数据和长讨论):https://github.com/ggml-org/llama.cpp/pull/27210
- llama.cpp PR #22105(DFlash 支持):https://github.com/ggml-org/llama.cpp/pull/22105
- vLLM 推测解码文档:https://github.com/vllm-project/vllm/blob/main/docs/features/speculative_decoding/README.md
- vLLM MTP:https://github.com/vllm-project/vllm/blob/main/docs/features/speculative_decoding/mtp.md
采样相关
- Holtzman 等,The Curious Case of Neural Text Degeneration(重复退化与 nucleus 采样):https://arxiv.org/abs/1904.09751
- min-p 采样:https://arxiv.org/abs/2407.01082
本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。