第 7 章 为什么能更快、为什么分数会变:把前几章串起来
前面几章分别讲了结构、量化、微调、引擎、推测解码。这一章回答你最初的两个问题:
- 为什么这些方法能让推理更快? 把实测速率分解为带宽、字节数、实现效率和每轮提交量;
- 为什么分数会变(或者看起来变了)? 分清“模型真的变了”和“测法变了 / 运气变了”。
最后讲本机用的 McNemar 配对检验:怎么用几百道题判断两个模型到底有没有差别。
来源标记:【本机实测】【论文】【官方】【作者自报】【推断】。
7.1 速度:四个公式
7.1.1 解码:带宽 ÷ 字节数
单请求解码速度 ≈ 显存带宽 ÷ 每个 token 要读的字节数 × 效率 × 推测解码倍数| 因子 | 本机 27B Q6_K | 怎么变大 |
|---|---|---|
| 显存带宽 | R9700 约 640 GB/s | 换卡(3090 约 936 GB/s,规格值未逐项核实) |
| 每 token 字节数 | 约 20.9 GB | 量化(第 3 章)、MoE 只读激活专家 |
| 效率 | 约 82%(实测 25 ÷ 上限 30.6) | 更好的内核(rdna-boosts、Paiton) |
| 推测解码倍数 | 约 2.5(MTP,代码) | 更好的草稿、更可预测的内容(第 6 章) |
640 ÷ 20.9 × 0.82 × 2.5 ≈ 63 tok/s。注意这里的 82% 由不开 MTP 的 25 tok/s 倒推,2.5 也来自开关 MTP 的实测比值。乘回去是在拆账,不是独立预测出 63.4。换模型或后端不能照抄后两项。
用这个公式检查几个现象:
量化(第 3 章):GSQ-RCO IQ3_S 文件约是 Q6_K 的一半,按公式应快近一倍,实测只快 19%(75.2 对 63.4)。说明“效率”项变差了:i-quant 反量化要查码本,Vulkan 上计算开销大,从带宽受限部分变成了计算受限【本机实测 + 推断】。
Paiton MXFP4(第 5 章):与 Q6_K 主线 Vulkan 相比,权重格式、内核和草稿方法一起变了。单路代码 176 对 63.4 tok/s,约 2.8 倍【本机实测】;没有逐项开关的对照,不能把倍数分配给三个因素。
7.1.2 MoE:只读激活的部分
Flash-Next 总参数约 180B,但每个 token 只经过约 6B 激活参数(512 个专家选 10 个 + 1 个共享,n-gram 表只读几行)。
【推断】粗算:
- 每层被选中的 10 个专家,每个 3 × 2560 × 640 ≈ 490 万参数,48 层合计约 23.6 亿;
- IQ3_XXS 约 3 位,这部分每 token 约 0.9 GB;加上注意力、共享专家等,每 token 总共读约 2–2.5 GB;
- 如果全在显存里,上限约 640 ÷ 2.3 ≈ 280 token/s,是 27B 的 9 倍。
实测 Strata 113(代码,含 MTP),远低于 280。原因:
- 显存放不下全部专家,命中率 95%,剩下 5% 要从内存经 PCIe 取或由 CPU 算,PCIe 带宽只有显存的十分之一左右;
- MoE 的路由、小矩阵、专家分散,内核效率比稠密矩阵低;
- 每层都要等路由结果才知道读哪些专家,难以完美流水。
同是单路代码任务,Strata 的 113 tok/s 比 27B 的 rdna-boosts 配置(70.4 tok/s)高约 60%;第 7.1.1 节的 27B Paiton 组合测得 176 tok/s。因此这里比较的是两套配置,不是说 MoE 快过本章所有稠密配置。少激活不等于少存储:未选中的专家仍要有地方放。知识题成绩另见 7.4,不能从存储大小推出来。
7.1.3 预填充:算力 ÷ 每 token 计算量
预填充速度 ≈ 有效算力 ÷ 每 token 计算量
每 token 计算量 ≈ 2 × 参数量(一次乘加 = 2 次浮点运算)+ 注意力部分27B:2 × 27B ≈ 54 GFLOP/token。rdna-boosts 实测约 946 token/s,相当于有效算力约 51 TFLOPS【推断】。
在第 5 章 5.7 的三种提示长度下,rdna-boosts 的预填充比主线 Vulkan 快约 22–28%。分支包含 WMMA 内核和 GDN 分块预填充,各自贡献还需单独测量。量化对预填充帮助不大,甚至有反量化开销。
Flash-Next 每 token 只算 6B 激活参数,所以 Strata 预填充能到约 1800 token/s。
7.1.4 长上下文:注意力和 KV 的读取越来越多
每生成一个 token,16 个注意力层都要读一遍全部 KV。43K 上下文、q8_0 KV 时,每 token 额外读约 1.4 GB,只比权重多 7%。
但实测长提示后的解码掉得更多:Vulkan 从 63.4 降到 40.6,rdna-boosts 从 70.4 降到 48.2【本机实测】。【推断】除了字节数,还有:长 KV 的注意力内核效率低;长提示测试的内容和短提示不同,MTP 接受率也不同。
对照:Flash-Next 在 llama.cpp 双卡上 43.5K 提示后比短提示慢约 7%–12%(38.0 对 40.7–43.2,没有 MTP)【本机实测】。它的注意力是 QSA 稀疏注意力,每个 token 只看 2048 个位置(第 2 章 2.5 节),长度增加时注意力成本几乎不涨。
混合架构和稀疏注意力的价值就在这里:GDN 的状态大小固定,QSA 的注意力预算固定,上下文越长优势越大。
7.1.5 并发:摊薄读取,但每人变慢
| 配置 | 单请求 | 并发数 | 合计 tok/s | 合计除以并发数 |
|---|---|---|---|---|
| llama.cpp Vulkan + MTP(27B) | 63.4 | 4 | 49.1 | 12.3 |
| Strata(Flash-Next) | 79.8 | 4 | 89.7 | 22.4 |
| llama.cpp 双卡(Flash-Next,无 MTP) | 37.8 | 4 | 68.1 | 17.0 |
| Paiton(27B) | 176 | 8 | 349 | 43.6 |
【本机实测】Vulkan + MTP 的四路合计低于单路;另一套无 MTP 双卡配置从 37.8 增至 68.1。要判断开关推测的收益,须固定模型、引擎、并发数和负载(第 6 章 6.7 节)。末列只是均摊吞吐,单个请求的响应速率还取决于各自的起止时间。
7.2 分数:七个会让分数变化的因素
一个模型的分数不是一个固定值。下面这些因素都能让同一个模型的分数差好几分。
7.2.1 模型本身真的变了
| 原因 | 本机例子 |
|---|---|
| 不同模型在同一知识题集上的差异 | Flash-Next 不开思考的 MMLU-Pro 直答比 27B 高(温度 0 下 68.6 对 63.9,p = 0.004) |
| 微调伤到了别的能力 | Signal IFEval −11(p = 0.003);AREX-2 直答 −8.9(p < 0.001)(第 4 章) |
| 权重表示与推理路径一起变化 | Paiton MXFP4 直答低 2.7 分(p = 0.002),CoT 低 2.5 分(p = 0.034);格式的单独贡献待测(第 3 章 3.8 节) |
7.2.2 采样参数
温度 0(贪心)不总是最好:
- Flash-Next 温度 0 时 IFEval 只有 85.0,按推荐参数(温度 1.0)是 96.0,差 11 分(p = 0.003)。温度 0 时 MMLU-Pro CoT 和 IFEval 共 8 题陷入同一句话无限重复,按推荐参数后没有一题重复【本机实测】;
- 原因:贪心是确定性的,一旦某段上下文让“重复自己”成为最高概率,下一步的上下文更像重复,形成吸引子。采样的随机性加上 presence penalty 能打破循环【论文:Holtzman 1904.09751;推断】;
- 模型卡写的推荐参数(思考模式温度 1.0、top_p 0.95、top_k 20)是官方在这些设置下调好的。
但短答题贪心更好:Flash-Next 的 MMLU-Pro 直答按推荐参数(温度 0.7 + presence_penalty 1.5)比温度 0 低 3.4 分(p = 0.006),有 6 题没有直接给字母、开始写解释,8 token 内被截断【本机实测】。
结论:分类、抽取、选择这类只要一个短答案的调用用温度 0;思考、写代码、聊天用推荐参数。
7.2.3 输出上限和截断
思考模型的输出长度分布很偏:Flash-Next 的 MMLU-Pro CoT 中位数只有 963 token,均值却是 3936,最长的十分之一超过 12.8K【本机实测】。
上限 8192 时,168 题里有 25 题的输出超过上限,被截断就记为错。上限放到 32768 后 CoT 分数高了 3.6 分(p = 0.24)。27B 从温度 0 + 8192 换成推荐参数后,截断从 26 题降到 0,CoT 82.7 → 85.1【本机实测】。
所以“思考更短”的微调(Swift、ThinkingCap)在上限紧的测试里会占便宜:同样的能力,少被截断几题,分数就高了。Coder390 在 LiveCodeBench 上的提升,很大一部分来自截断从 13 题降到 2–4 题(第 4 章 4.2.6 节)。
7.2.4 测法:直答 vs 思考,提示和模板
- MMLU-Pro 直答(只要一个字母)和 CoT(先推理再答)同一个模型差约 20 分(27B:63.9 对 82.7);
- 聊天模板、系统提示改变输出风格(第 4 章 4.1.6 节);
- 答案提取规则(正则匹配“答案是 X”还是最后一个字母)会让分数差几分。
7.2.5 引擎和硬件
同一份权重、同样的参数,不同引擎的浮点运算顺序仍可能不同。Flash-Next 在 Strata 与 llama.cpp 双卡上,温度 0 的 HumanEval p = 1.0、MMLU-Pro 直答 p = 0.12;推荐参数下五项也都未检出显著差异【本机实测】。这不是所有引擎或量化格式的质量保证。
严格拒绝采样保目标分布;贪心解码还受近似并列时的数值差异影响(第 6 章 6.2 节)。
7.2.6 运气:单次采样的噪声
温度 1.0 时同一题跑两次结果可能不同。100 题的基准上,准确率 85% 时的标准误差是:
√(0.85 × 0.15 / 100) ≈ 3.6 分两个模型各跑一次、互不相关的话,差 7 分以内都可能只是运气。这就是为什么要用配对检验(7.3 节)和多次采样(ThinkingCap 用 32 个种子)。
7.2.7 污染和自报分数
- 污染:训练数据里有评测题或它的改写,分数虚高。用闭源模型生成的合成数据尤其难排除。缓解:用发布日期晚于训练截止的题(LiveCodeBench 的做法)、自己出题、用私有测试集;
- 自报分数:几乎所有社区变体的分数都是作者自己测的,常见问题(小样本、单次采样、挑口径、同名基准设置不同)见第 4 章 4.5 节。
7.3 McNemar 配对检验:用多少题能判断谁更好
7.3.1 为什么要“配对”
题目难度差别巨大:有的题所有模型都对,有的所有模型都错。这些题对比较两个模型没有任何信息。
两个模型在同一批题上作答,每题有四种情况:
| B 对 | B 错 | |
|---|---|---|
| A 对 | 都对(没信息) | b:A 对 B 错 |
| A 错 | c:A 错 B 对 | 都错(没信息) |
只有 b 和 c 这两类“互有对错”的题有信息。
7.3.2 检验方法
原假设:两个模型一样好。那么每道“互有对错”的题,是 A 赢还是 B 赢,应该像抛硬币一样各 50%。
所以 b 服从二项分布 Binomial(b + c, 0.5)。精确双侧 p 值:
p = 2 × P(X ≤ min(b, c)),X ~ Binomial(b + c, 0.5),结果最大取 1p 值的意思:如果两个模型其实一样好,出现这么不平衡(或更不平衡)的结果的概率。p < 0.05 通常认为差异显著。
7.3.3 算例
| b 对 c | 互有对错 | 净差 | p | 结论 |
|---|---|---|---|---|
| 5 对 3 | 8 | 2 | 0.727 | 完全分不出 |
| 5 对 2 | 7 | 3 | 0.453 | 分不出(本机 Flash-Next 对 27B 的 HumanEval) |
| 7 对 2 | 9 | 5 | 0.180 | 分不出 |
| 9 对 2 | 11 | 7 | 0.065 | 接近但不显著 |
| 11 对 2 | 13 | 9 | 0.0225 | 显著 |
| 13 对 2 | 15 | 11 | 0.0074 | 显著 |
| 12 对 1 | 13 | 11 | 0.0034 | 很显著 |
| 33 对 29 | 62 | 4 | 0.70 | 分不出 |
| 72 对 55 | 127 | 17 | 0.155 | 分不出(本机 MMLU-Pro 直答,Flash-Next 对 27B,推荐参数) |
| 72 对 51 | 123 | 21 | 0.071 | 接近但不显著 |
手算第一行验证一下:b + c = 8,min = 3。
P(X ≤ 3) = [C(8,0) + C(8,1) + C(8,2) + C(8,3)] / 2^8 = (1 + 8 + 28 + 56) / 256 = 93/256 ≈ 0.363
p = 2 × 0.363 ≈ 0.727几个要点:
- 显著与否看的是 b 和 c,不是总题数。700 题的 MMLU-Pro,净差 17 题(2.4 分)不显著,因为互有对错的有 127 题;100 题的 IFEval,净差 11 题(11 分)很显著,因为互有对错的只有 13 题。
- 差异小时需要很多题。净差 4 题、互有对错 62 题,p = 0.70。只知道“100 题净差 2–4 题”,不能判断两个模型谁更好。配对检验还得知道它们各自独答对多少题;没有检出差异也不等于证明差异是噪声。
- 最少需要多少:如果一方全赢(c = 0),b = 6 时 p = 2/64 ≈ 0.031 才刚刚显著。也就是说至少要 6 道“只有一方答对”的题才可能下结论。
7.3.4 本机怎么做
- 每组比较使用同一批题号。同引擎的变体控制采样设置;跨引擎或跨采样的对照单独报告;
- 每题记录对错,两两配对算 b、c、p;
- 报告“显著退步”的只有 p < 0.05 的项(Signal IFEval、AREX-2 直答、Paiton 知识题);
- 其他差异一律说“分不出高低”,不说谁更好。
局限:
- 每题只跑一次。温度 1.0 时这本身也有噪声,严格的做法是多次采样取平均,或者每题多个种子;
- 这里报的是未校正的逐项 p 值。假如 35 项原假设都成立,每项按 5% 阈值判断,期望仍会出现 1.75 项假阳性。截断和空输出能帮我们提出解释,但事后解释不能替代多重比较校正,或在独立题集上复验。
7.4 回到最初的问题
为什么这些方法能提升推理性能?
| 方法 | 提升的是什么 | 原理 | 代价 |
|---|---|---|---|
| 量化 | 速度、显存 | 每 token 读的字节变少 | 精度损失,越低位越大 |
| MoE | 速度(相对总参数) | 每 token 只读激活专家 | 占用大量显存 / 内存 |
| 混合架构(GDN) | 长上下文速度、显存 | 固定大小状态代替增长的 KV | 训练复杂,引擎支持晚 |
| 稀疏注意力(QSA) | 长上下文速度 | 每 token 只看固定数量的位置 | 近似,依赖训练 |
| 推测解码 | 单请求解码速度 | 利用空闲算力一次验证多个 token | 收益须按同并发基线计算;严格验证保目标采样分布 |
| 更好的内核 | 效率 | 更接近硬件极限 | 硬件特化,维护难 |
| 批处理 | 总吞吐 | 摊薄权重读取 | 每人变慢 |
为什么分数会提升(或看起来提升)?
| 真的提升 | 看起来提升 |
|---|---|
| 改变基座与训练数据(实际差别要按任务测) | 少截断(思考变短的微调、放宽上限) |
| 经训练消融验证的后训练改进(配置比较本身不能归因) | 换了采样参数(温度 0 → 推荐参数) |
| 换了提示、模板、答案提取规则 | |
| 小样本的运气 | |
| 评测污染 |
同批配对题上,未见哪个社区 27B 变体显著超过原版。Flash-Next 在温度 0、不开思考的 MMLU-Pro 直答上是 68.6 对 63.9(逐项 p = 0.004);换用推荐采样参数,差异没有达到显著阈值。前一项是一个具体的知识直答结果,不是跨任务或跨采样设置的排名。
本章小结
- 解码速度 ≈ 带宽 ÷ 每 token 字节 × 效率 × 推测倍数;把本机实测得到的效率和倍数乘回去,能还原代码续写约 63 tok/s。
- MoE 的速度优势来自激活参数小,代价是总占用大;长上下文时混合架构和稀疏注意力的优势放大。
- 分数受采样参数、输出上限、测法、样本量影响很大,不一定是模型变了。
- 配对检验只看“互有对错”的题;少于 6 道这样的题,什么都说明不了。
参考资料(本章)
- Leviathan 等,推测解码速度公式:https://arxiv.org/abs/2211.17192
- kipply,Transformer Inference Arithmetic(带宽 / 算力估算的经典入门):https://kipp.ly/transformer-inference-arithmetic/
- Holtzman 等,文本退化与重复:https://arxiv.org/abs/1904.09751
- McNemar 检验:任何一本统计教材的“配对比例检验”章节;Wikipedia:https://en.wikipedia.org/wiki/McNemar%27s_test
- Dror 等,The Hitchhiker’s Guide to Testing Statistical Significance in NLP(ACL 2018,NLP 里显著性检验的实用指南):https://aclanthology.org/P18-1128/
- LiveCodeBench(按日期抗污染):https://arxiv.org/abs/2403.07974
本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。