跳至内容
第 7 章 为什么能更快、为什么分数会变:把前几章串起来

第 7 章 为什么能更快、为什么分数会变:把前几章串起来

所属专题:本地大模型架构与推理框架详解

前面几章分别讲了结构、量化、微调、引擎、推测解码。这一章回答你最初的两个问题:

  1. 为什么这些方法能让推理更快? 把实测速率分解为带宽、字节数、实现效率和每轮提交量;
  2. 为什么分数会变(或者看起来变了)? 分清“模型真的变了”和“测法变了 / 运气变了”。

最后讲本机用的 McNemar 配对检验:怎么用几百道题判断两个模型到底有没有差别。

来源标记:【本机实测】【论文】【官方】【作者自报】【推断】。


7.1 速度:四个公式

7.1.1 解码:带宽 ÷ 字节数

单请求解码速度 ≈ 显存带宽 ÷ 每个 token 要读的字节数 × 效率 × 推测解码倍数
因子本机 27B Q6_K怎么变大
显存带宽R9700 约 640 GB/s换卡(3090 约 936 GB/s,规格值未逐项核实)
每 token 字节数约 20.9 GB量化(第 3 章)、MoE 只读激活专家
效率约 82%(实测 25 ÷ 上限 30.6)更好的内核(rdna-boosts、Paiton)
推测解码倍数约 2.5(MTP,代码)更好的草稿、更可预测的内容(第 6 章)

640 ÷ 20.9 × 0.82 × 2.5 ≈ 63 tok/s。注意这里的 82% 由不开 MTP 的 25 tok/s 倒推,2.5 也来自开关 MTP 的实测比值。乘回去是在拆账,不是独立预测出 63.4。换模型或后端不能照抄后两项。

用这个公式检查几个现象:

量化(第 3 章):GSQ-RCO IQ3_S 文件约是 Q6_K 的一半,按公式应快近一倍,实测只快 19%(75.2 对 63.4)。说明“效率”项变差了:i-quant 反量化要查码本,Vulkan 上计算开销大,从带宽受限部分变成了计算受限【本机实测 + 推断】。

Paiton MXFP4(第 5 章):与 Q6_K 主线 Vulkan 相比,权重格式、内核和草稿方法一起变了。单路代码 176 对 63.4 tok/s,约 2.8 倍【本机实测】;没有逐项开关的对照,不能把倍数分配给三个因素。

7.1.2 MoE:只读激活的部分

Flash-Next 总参数约 180B,但每个 token 只经过约 6B 激活参数(512 个专家选 10 个 + 1 个共享,n-gram 表只读几行)。

【推断】粗算:

  • 每层被选中的 10 个专家,每个 3 × 2560 × 640 ≈ 490 万参数,48 层合计约 23.6 亿;
  • IQ3_XXS 约 3 位,这部分每 token 约 0.9 GB;加上注意力、共享专家等,每 token 总共读约 2–2.5 GB;
  • 如果全在显存里,上限约 640 ÷ 2.3 ≈ 280 token/s,是 27B 的 9 倍。

实测 Strata 113(代码,含 MTP),远低于 280。原因:

  • 显存放不下全部专家,命中率 95%,剩下 5% 要从内存经 PCIe 取或由 CPU 算,PCIe 带宽只有显存的十分之一左右;
  • MoE 的路由、小矩阵、专家分散,内核效率比稠密矩阵低;
  • 每层都要等路由结果才知道读哪些专家,难以完美流水。

同是单路代码任务,Strata 的 113 tok/s 比 27B 的 rdna-boosts 配置(70.4 tok/s)高约 60%;第 7.1.1 节的 27B Paiton 组合测得 176 tok/s。因此这里比较的是两套配置,不是说 MoE 快过本章所有稠密配置。少激活不等于少存储:未选中的专家仍要有地方放。知识题成绩另见 7.4,不能从存储大小推出来。

7.1.3 预填充:算力 ÷ 每 token 计算量

预填充速度 ≈ 有效算力 ÷ 每 token 计算量
每 token 计算量 ≈ 2 × 参数量(一次乘加 = 2 次浮点运算)+ 注意力部分

27B:2 × 27B ≈ 54 GFLOP/token。rdna-boosts 实测约 946 token/s,相当于有效算力约 51 TFLOPS【推断】。

在第 5 章 5.7 的三种提示长度下,rdna-boosts 的预填充比主线 Vulkan 快约 22–28%。分支包含 WMMA 内核和 GDN 分块预填充,各自贡献还需单独测量。量化对预填充帮助不大,甚至有反量化开销。

Flash-Next 每 token 只算 6B 激活参数,所以 Strata 预填充能到约 1800 token/s。

7.1.4 长上下文:注意力和 KV 的读取越来越多

每生成一个 token,16 个注意力层都要读一遍全部 KV。43K 上下文、q8_0 KV 时,每 token 额外读约 1.4 GB,只比权重多 7%。

但实测长提示后的解码掉得更多:Vulkan 从 63.4 降到 40.6,rdna-boosts 从 70.4 降到 48.2【本机实测】。【推断】除了字节数,还有:长 KV 的注意力内核效率低;长提示测试的内容和短提示不同,MTP 接受率也不同。

对照:Flash-Next 在 llama.cpp 双卡上 43.5K 提示后比短提示慢约 7%–12%(38.0 对 40.7–43.2,没有 MTP)【本机实测】。它的注意力是 QSA 稀疏注意力,每个 token 只看 2048 个位置(第 2 章 2.5 节),长度增加时注意力成本几乎不涨。

混合架构和稀疏注意力的价值就在这里:GDN 的状态大小固定,QSA 的注意力预算固定,上下文越长优势越大。

7.1.5 并发:摊薄读取,但每人变慢

配置单请求并发数合计 tok/s合计除以并发数
llama.cpp Vulkan + MTP(27B)63.4449.112.3
Strata(Flash-Next)79.8489.722.4
llama.cpp 双卡(Flash-Next,无 MTP)37.8468.117.0
Paiton(27B)176834943.6

【本机实测】Vulkan + MTP 的四路合计低于单路;另一套无 MTP 双卡配置从 37.8 增至 68.1。要判断开关推测的收益,须固定模型、引擎、并发数和负载(第 6 章 6.7 节)。末列只是均摊吞吐,单个请求的响应速率还取决于各自的起止时间。


7.2 分数:七个会让分数变化的因素

一个模型的分数不是一个固定值。下面这些因素都能让同一个模型的分数差好几分。

7.2.1 模型本身真的变了

原因本机例子
不同模型在同一知识题集上的差异Flash-Next 不开思考的 MMLU-Pro 直答比 27B 高(温度 0 下 68.6 对 63.9,p = 0.004)
微调伤到了别的能力Signal IFEval −11(p = 0.003);AREX-2 直答 −8.9(p < 0.001)(第 4 章)
权重表示与推理路径一起变化Paiton MXFP4 直答低 2.7 分(p = 0.002),CoT 低 2.5 分(p = 0.034);格式的单独贡献待测(第 3 章 3.8 节)

7.2.2 采样参数

温度 0(贪心)不总是最好:

  • Flash-Next 温度 0 时 IFEval 只有 85.0,按推荐参数(温度 1.0)是 96.0,差 11 分(p = 0.003)。温度 0 时 MMLU-Pro CoT 和 IFEval 共 8 题陷入同一句话无限重复,按推荐参数后没有一题重复【本机实测】;
  • 原因:贪心是确定性的,一旦某段上下文让“重复自己”成为最高概率,下一步的上下文更像重复,形成吸引子。采样的随机性加上 presence penalty 能打破循环【论文:Holtzman 1904.09751;推断】;
  • 模型卡写的推荐参数(思考模式温度 1.0、top_p 0.95、top_k 20)是官方在这些设置下调好的。

但短答题贪心更好:Flash-Next 的 MMLU-Pro 直答按推荐参数(温度 0.7 + presence_penalty 1.5)比温度 0 低 3.4 分(p = 0.006),有 6 题没有直接给字母、开始写解释,8 token 内被截断【本机实测】。

结论:分类、抽取、选择这类只要一个短答案的调用用温度 0;思考、写代码、聊天用推荐参数。

7.2.3 输出上限和截断

思考模型的输出长度分布很偏:Flash-Next 的 MMLU-Pro CoT 中位数只有 963 token,均值却是 3936,最长的十分之一超过 12.8K【本机实测】。

上限 8192 时,168 题里有 25 题的输出超过上限,被截断就记为错。上限放到 32768 后 CoT 分数高了 3.6 分(p = 0.24)。27B 从温度 0 + 8192 换成推荐参数后,截断从 26 题降到 0,CoT 82.7 → 85.1【本机实测】。

所以“思考更短”的微调(Swift、ThinkingCap)在上限紧的测试里会占便宜:同样的能力,少被截断几题,分数就高了。Coder390 在 LiveCodeBench 上的提升,很大一部分来自截断从 13 题降到 2–4 题(第 4 章 4.2.6 节)。

7.2.4 测法:直答 vs 思考,提示和模板

  • MMLU-Pro 直答(只要一个字母)和 CoT(先推理再答)同一个模型差约 20 分(27B:63.9 对 82.7);
  • 聊天模板、系统提示改变输出风格(第 4 章 4.1.6 节);
  • 答案提取规则(正则匹配“答案是 X”还是最后一个字母)会让分数差几分。

7.2.5 引擎和硬件

同一份权重、同样的参数,不同引擎的浮点运算顺序仍可能不同。Flash-Next 在 Strata 与 llama.cpp 双卡上,温度 0 的 HumanEval p = 1.0、MMLU-Pro 直答 p = 0.12;推荐参数下五项也都未检出显著差异【本机实测】。这不是所有引擎或量化格式的质量保证。

严格拒绝采样保目标分布;贪心解码还受近似并列时的数值差异影响(第 6 章 6.2 节)。

7.2.6 运气:单次采样的噪声

温度 1.0 时同一题跑两次结果可能不同。100 题的基准上,准确率 85% 时的标准误差是:

√(0.85 × 0.15 / 100) ≈ 3.6 分

两个模型各跑一次、互不相关的话,差 7 分以内都可能只是运气。这就是为什么要用配对检验(7.3 节)和多次采样(ThinkingCap 用 32 个种子)。

7.2.7 污染和自报分数

  • 污染:训练数据里有评测题或它的改写,分数虚高。用闭源模型生成的合成数据尤其难排除。缓解:用发布日期晚于训练截止的题(LiveCodeBench 的做法)、自己出题、用私有测试集;
  • 自报分数:几乎所有社区变体的分数都是作者自己测的,常见问题(小样本、单次采样、挑口径、同名基准设置不同)见第 4 章 4.5 节。

7.3 McNemar 配对检验:用多少题能判断谁更好

7.3.1 为什么要“配对”

题目难度差别巨大:有的题所有模型都对,有的所有模型都错。这些题对比较两个模型没有任何信息。

两个模型在同一批题上作答,每题有四种情况:

B 对B 错
A 对都对(没信息)b:A 对 B 错
A 错c:A 错 B 对都错(没信息)

只有 b 和 c 这两类“互有对错”的题有信息。

7.3.2 检验方法

原假设:两个模型一样好。那么每道“互有对错”的题,是 A 赢还是 B 赢,应该像抛硬币一样各 50%。

所以 b 服从二项分布 Binomial(b + c, 0.5)。精确双侧 p 值:

p = 2 × P(X ≤ min(b, c)),X ~ Binomial(b + c, 0.5),结果最大取 1

p 值的意思:如果两个模型其实一样好,出现这么不平衡(或更不平衡)的结果的概率。p < 0.05 通常认为差异显著。

7.3.3 算例

b 对 c互有对错净差p结论
5 对 3820.727完全分不出
5 对 2730.453分不出(本机 Flash-Next 对 27B 的 HumanEval)
7 对 2950.180分不出
9 对 21170.065接近但不显著
11 对 21390.0225显著
13 对 215110.0074显著
12 对 113110.0034很显著
33 对 296240.70分不出
72 对 55127170.155分不出(本机 MMLU-Pro 直答,Flash-Next 对 27B,推荐参数)
72 对 51123210.071接近但不显著

手算第一行验证一下:b + c = 8,min = 3。

P(X ≤ 3) = [C(8,0) + C(8,1) + C(8,2) + C(8,3)] / 2^8 = (1 + 8 + 28 + 56) / 256 = 93/256 ≈ 0.363
p = 2 × 0.363 ≈ 0.727

几个要点:

  1. 显著与否看的是 b 和 c,不是总题数。700 题的 MMLU-Pro,净差 17 题(2.4 分)不显著,因为互有对错的有 127 题;100 题的 IFEval,净差 11 题(11 分)很显著,因为互有对错的只有 13 题。
  2. 差异小时需要很多题。净差 4 题、互有对错 62 题,p = 0.70。只知道“100 题净差 2–4 题”,不能判断两个模型谁更好。配对检验还得知道它们各自独答对多少题;没有检出差异也不等于证明差异是噪声。
  3. 最少需要多少:如果一方全赢(c = 0),b = 6 时 p = 2/64 ≈ 0.031 才刚刚显著。也就是说至少要 6 道“只有一方答对”的题才可能下结论。

7.3.4 本机怎么做

  • 每组比较使用同一批题号。同引擎的变体控制采样设置;跨引擎或跨采样的对照单独报告;
  • 每题记录对错,两两配对算 b、c、p;
  • 报告“显著退步”的只有 p < 0.05 的项(Signal IFEval、AREX-2 直答、Paiton 知识题);
  • 其他差异一律说“分不出高低”,不说谁更好。

局限:

  • 每题只跑一次。温度 1.0 时这本身也有噪声,严格的做法是多次采样取平均,或者每题多个种子;
  • 这里报的是未校正的逐项 p 值。假如 35 项原假设都成立,每项按 5% 阈值判断,期望仍会出现 1.75 项假阳性。截断和空输出能帮我们提出解释,但事后解释不能替代多重比较校正,或在独立题集上复验。

7.4 回到最初的问题

为什么这些方法能提升推理性能?

方法提升的是什么原理代价
量化速度、显存每 token 读的字节变少精度损失,越低位越大
MoE速度(相对总参数)每 token 只读激活专家占用大量显存 / 内存
混合架构(GDN)长上下文速度、显存固定大小状态代替增长的 KV训练复杂,引擎支持晚
稀疏注意力(QSA)长上下文速度每 token 只看固定数量的位置近似,依赖训练
推测解码单请求解码速度利用空闲算力一次验证多个 token收益须按同并发基线计算;严格验证保目标采样分布
更好的内核效率更接近硬件极限硬件特化,维护难
批处理总吞吐摊薄权重读取每人变慢

为什么分数会提升(或看起来提升)?

真的提升看起来提升
改变基座与训练数据(实际差别要按任务测)少截断(思考变短的微调、放宽上限)
经训练消融验证的后训练改进(配置比较本身不能归因)换了采样参数(温度 0 → 推荐参数)
换了提示、模板、答案提取规则
小样本的运气
评测污染

同批配对题上,未见哪个社区 27B 变体显著超过原版。Flash-Next 在温度 0、不开思考的 MMLU-Pro 直答上是 68.6 对 63.9(逐项 p = 0.004);换用推荐采样参数,差异没有达到显著阈值。前一项是一个具体的知识直答结果,不是跨任务或跨采样设置的排名。


本章小结

  1. 解码速度 ≈ 带宽 ÷ 每 token 字节 × 效率 × 推测倍数;把本机实测得到的效率和倍数乘回去,能还原代码续写约 63 tok/s。
  2. MoE 的速度优势来自激活参数小,代价是总占用大;长上下文时混合架构和稀疏注意力的优势放大。
  3. 分数受采样参数、输出上限、测法、样本量影响很大,不一定是模型变了。
  4. 配对检验只看“互有对错”的题;少于 6 道这样的题,什么都说明不了。

参考资料(本章)

  • Leviathan 等,推测解码速度公式:https://arxiv.org/abs/2211.17192
  • kipply,Transformer Inference Arithmetic(带宽 / 算力估算的经典入门):https://kipp.ly/transformer-inference-arithmetic/
  • Holtzman 等,文本退化与重复:https://arxiv.org/abs/1904.09751
  • McNemar 检验:任何一本统计教材的“配对比例检验”章节;Wikipedia:https://en.wikipedia.org/wiki/McNemar%27s_test
  • Dror 等,The Hitchhiker’s Guide to Testing Statistical Significance in NLP(ACL 2018,NLP 里显著性检验的实用指南):https://aclanthology.org/P18-1128/
  • LiveCodeBench(按日期抗污染):https://arxiv.org/abs/2403.07974

本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。

最后更新于