第 3 章 量化详解:把 16 位的权重压到 3~6 位,为什么还能用、为什么会更快
这一章从“一个数在计算机里怎么存”讲起,一直讲到本机用的 UD-Q6_K、GSQ-RCO、MXFP4。 读完你应该能回答:
- 文件名里的
Q6_K、IQ3_S、UD-、GSQ-RCO、MXFP4、NVFP4各是什么;- 为什么文件小一半,速度却只快 19%;
- MXFP4 转换在哪里需要舍入,这和实测知识题分差是不是同一个问题;
- 3090 和 R9700 各能跑哪种量化的“硬件加速”。
来源标记:【文件头】= 用 gguf-py 读本机 GGUF 得到;【源码】= llama.cpp 源码 / PR;【论文】;【官方】= 模型卡 / 厂商文档;【本机实测】;【社区】;【推断】= 我的推理,不是来源原话。
3.1 先说结论:量化在做什么
BERT-base 只有 1.1 亿参数,FP32 存也就 440 MB,没人在意压不压缩。今天的 27B 模型用 BF16 存要 54 GB,本机最大的一张卡只有 32 GB。
量化就是把每个权重从 16 位(BF16)换成更少的位数(8、6、4、3、2 位甚至 1.58 位)来存,用的时候再按规则还原成近似值。它带来三个好处:
- 放得下:27B 从 54 GB 压到 22 GB(Q6_K)或 12 GB(GSQ-RCO IQ3_S),单卡就能装下,还能留出 KV 缓存的空间。
- 生成更快:稠密模型单请求解码常受权重读取带宽限制;压缩每步要读的矩阵可以提速,收益还取决于解码内核(3.3 节细讲,这是最重要的一点)。
- 能用低精度的矩阵乘硬件:只有权重和激活都量化、而且显卡有对应的硬件单元时才有这个好处(3.9 节)。
代价是误差:还原出来的权重和原来不完全一样。现代量化方法做的事情,全都是想办法让这个误差对最终输出的影响尽量小。
3.2 数字在计算机里怎么存
3.2.1 浮点数:符号 + 指数 + 尾数
浮点数和科学计数法一个思路:±1.尾数 × 2^指数。指数位决定能表示多大、多小的数(范围),尾数位决定两个相邻数之间隔多远(精度)。
| 格式 | 总位数 | 符号 | 指数 | 尾数 | 特点 | 在本机哪里用到 |
|---|---|---|---|---|---|---|
| FP32 | 32 | 1 | 8 | 23 | 训练时的基准精度 | GGUF 里的归一化权重(*_norm)、ssm_a 等小张量都是 F32 |
| FP16 | 16 | 1 | 5 | 10 | 精度高,但最大只到约 65504,容易溢出 | 老一代推理默认格式;llama.cpp 的 f16 KV 缓存 |
| BF16 | 16 | 1 | 8 | 7 | 指数和 FP32 一样,范围大,精度低一些 | 模型发布的原始格式;rdna-boosts 的 bf16 KV 缓存;GSQ-RCO 里的 ssm_alpha/beta |
| FP8 E4M3 | 8 | 1 | 4 | 3 | 精度稍好、范围小(最大 448) | NVFP4 的块缩放因子;Paiton 解码时的激活 |
| FP8 E5M2 | 8 | 1 | 5 | 2 | 范围大、精度差 | 训练时的梯度 |
| FP4 E2M1 | 4 | 1 | 2 | 1 | 只能表示 0、±0.5、±1、±1.5、±2、±3、±4、±6 共 15 个值 | MXFP4 / NVFP4 的元素 |
| INT8 / INT4 | 8 / 4 | — | — | — | 等间距的整数,必须配一个缩放因子才能表示小数 | GGUF 的各种 Qx 格式本质上都是“小整数 + 缩放因子” |
【标准】FP8 的两种编码见论文 FP8 Formats for Deep Learning(arXiv 2209.05433);FP4 E2M1 的取值集合见 NVIDIA Research 博客。
两个直觉:
- FP16 和 BF16 的区别是“精度换范围”。大模型训练里激活偶尔会出现很大的值,FP16 会溢出成无穷大,BF16 不会,所以现在模型基本都用 BF16 发布。
- 整数格是等间距的,浮点格是“靠近 0 密、远离 0 疏”的。FP4 的 15 个值里,0.5 和 1 之间隔 0.5,4 和 6 之间隔 2。神经网络的权重大多集中在 0 附近,这种分布正合适。
3.2.2 整数量化的基本公式
把一组浮点数 x 变成小整数 q,最简单的办法是对称量化:
缩放因子 s = max(|x|) / (2^(b-1) - 1) # b 是位数,4 位时分母是 7
q = round(x / s),再截断到 [-8, 7]
还原:x̂ = q × s非对称量化多存一个“零点”或“最小值” m,用来对付不以 0 为中心的数据:
s = (max(x) - min(x)) / (2^b - 1) # 4 位时分母是 15
q = round((x - min) / s),范围 [0, 15]
还原:x̂ = q × s + minllama.cpp 把前者叫 type-0(w = d·q),后者叫 type-1(w = d·q + m)【源码,PR #1684】。
3.2.3 手算一个例子
下面这 16 个数是一小块权重(数字是举例用的,脚本 q_demo.py 用 numpy 验证过):
x = [0.12, -0.35, 0.08, 0.51, -0.22, 0.03, -0.09, 0.27,
0.44, -0.18, 0.06, -0.41, 0.15, -0.02, 0.33, -0.28](a) 对称 4 位:最大绝对值 0.51,s = 0.51 / 7 = 0.07286
q = [2, -5, 1, 7, -3, 0, -1, 4, 6, -2, 1, -6, 2, 0, 5, -4]
x̂ = [0.146, -0.364, 0.073, 0.510, -0.219, 0, -0.073, 0.291, 0.437, -0.146, ...]最大误差 0.034,均方根误差(RMSE)0.020。理论上误差不会超过 s/2 = 0.036。
存储开销:16 个 4 位整数 + 1 个 FP16 缩放因子 = 80 位,平均每个权重 5 位。如果一块是 32 个数,就是 (32×4 + 16) / 32 = 4.5 位,这正是 llama.cpp Q4_0 的 bpw(bits per weight,每权重位数)。
(b) 非对称 4 位:用 min/max,s = (0.51 − (−0.41)) / 15 = 0.0613。RMSE 降到 0.0117,几乎减半。多存一个最小值,换来更细的格子。这就是 Q4_1、Q4_K 的做法。
(c) 离群值的破坏力:把 0.51 换成 5.0,其他不变。对称 4 位的 s 变成 5.0 / 7 = 0.714,结果:
q = [0, 0, 0, 7, 0, 0, 0, 0, 1, 0, 0, -1, 0, 0, 0, 0]几乎所有数都被量化成了 0,整块 RMSE 0.207,和信号本身一样大。一个离群值毁掉了整块。
如果把这 16 个数拆成两块、每块 8 个、各自算缩放因子:含离群值的前一块还是很差(RMSE 0.185),但后一块 s = 0.063、RMSE 只有 0.0195,完全不受影响。
这个例子说明了量化里最重要的三条经验:
- 块越小,离群值伤害的范围越小,但每块都要多存一个缩放因子,开销越大。所以 NVFP4 用 16 个一块、MXFP4 用 32 个一块,GGUF 的 k-quant 用“256 个一大块、里面再分 16 或 32 个一小块”。
- 多存一点元信息(最小值、更精确的缩放因子)就能显著降误差。
- 对付离群值是低比特量化的核心难题。后面的 imatrix、AWQ、旋转(Hadamard)都是针对这个问题的不同解法。
3.3 为什么量化能让生成变快:带宽瓶颈
这是理解本机所有速度数字的钥匙,值得慢慢看。
3.3.1 生成一个 token 要做什么
第 1 章说过,生成是一个循环,每一步只新增一个 token。这一步里,模型要把这个 token 的向量依次送过 64 层,每层都要乘上这一层的全部权重矩阵。
对一个 5120 × 17408 的矩阵(FFN 的 up 投影),输入只是一个 5120 维的向量:
- 计算量:5120 × 17408 次乘加 ≈ 0.18 GFLOP(每个权重 2 次浮点运算:一次乘、一次加)。
- 数据量:整个矩阵要从显存读进计算单元。Q6_K 下每个权重约 0.82 字节,约 73 MB。
每读 1 字节只做 2 / 0.82 ≈ 2.4 次运算。这个比值叫算术强度(arithmetic intensity)。
3.3.2 显卡的“算”和“读”差多少
| R9700(本机 A 卡) | RTX 3090(本机 N 卡) | |
|---|---|---|
| 显存带宽 | 640 GB/s(256-bit GDDR6) | 936 GB/s(384-bit GDDR6X) |
| FP16 算力 | 约 95.7 TFLOPS | 约 71 TFLOPS(张量核,稠密) |
| 算力 / 带宽 | 约 150 次运算 / 字节 | 约 76 次运算 / 字节 |
【社区 / 厂商规格】R9700 数字来自技嘉和 Puget 的规格页;3090 带宽 = 19.5 Gbps × 384 / 8 = 936 GB/s。3090 的 FP16 张量核算力是常见公开值,没有在本次资料里逐条核对。
显卡每读 1 字节,有能力做 150 次运算,而生成时每字节只需要做 2.4 次。计算单元 98% 的时间在等数据。所以:
生成(decode)速度 ≈ 显存带宽 ÷ 每个 token 要读的字节数
这叫“带宽受限”(memory-bound)。BERT 时代你可能没碰到过这个问题:BERT 是一次前向处理一整句话,512 个 token 同时乘同一个权重矩阵,算术强度是 512 × 2.4,远远超过 150,是“算力受限”的。
3.3.3 用本机的数字验证
27B UD-Q6_K:文件 21.97 GB。其中词嵌入表 token_embd(1.27B 参数,Q6_K,约 1.04 GB)每个 token 只查 1 行,几乎不用读;MTP 层只在推测解码时用。所以每个 token 实际要读约 20.9 GB 权重。
理论上限 = 640 GB/s ÷ 20.9 GB ≈ 30.6 token/s
本机实测(不开推测解码):rdna-boosts 24.7、主线 Vulkan 25.3 token/s
→ 达到理论上限的 81–83%剩下的 17–19% 损失在:每层之间的同步、小算子(归一化、激活函数、DeltaNet 状态更新)、KV 缓存读取、采样。80% 左右已经是很好的内核效率了。
长上下文为什么变慢:43K token 的上下文,16 层全注意力的 q8_0 KV 缓存每个 token 约 34 KB(16 层 × K、V 两份 × 4 个头 × 256 维 × 8.5 位 ÷ 8),43K 个 token 就是约 1.5 GB,每生成一个 token 都要整个读一遍:
理论上限 = 640 ÷ (20.9 + 1.5) ≈ 28.6 token/s,比短提示低 7%
本机实测:rdna-boosts 不开推测 24.7 → 23.0,正好低 7%如果 64 层全是标准注意力,这 1.5 GB 会变成 6 GB,长提示后的速度要掉 22%。这就是第 1 章说的“3:1 混合架构对长上下文友好”的具体体现。
不同量化的理论天花板(只算权重,不算 KV 和推测解码):
| 量化 | 文件大小 | R9700 上限 | 3090 上限 |
|---|---|---|---|
| BF16(原版) | 53.8 GB | 11.9 t/s(放不下) | 17.4 t/s(放不下) |
| Q8_0 | 约 28.7 GB | 22 t/s | 33 t/s(放不下) |
| UD-Q6_K(现用) | 22.0 GB | 30.6 t/s | 45 t/s |
| ~Q4(约 16 GB) | 16 GB | 40 t/s | 58 t/s |
| GSQ-RCO IQ3_S | 12.1 GB | 约 56 t/s | 约 82 t/s |
| Paiton W3Rot INT3 | 9.55 GB | 67 t/s | — |
| GSQ-RCO IQ2_XS | 8.4 GB | 76 t/s | 111 t/s |
【计算】GSQ-RCO 一行扣掉了 IQ2_S 的词嵌入(约 0.4 GB)和 MTP 层。
3.3.4 那为什么 IQ3_S 文件小了一半,实测只快 19%?
本机实测(R9700,主线 Vulkan + MTP 推测解码,代码 / JSON / 英文 / 中文):
| 文件 | 解码 tok/s | 43K 长提示后解码 | |
|---|---|---|---|
| UD-Q6_K | 22.0 GB | 63.4 / 71.0 / 46.5 / 39.2 | 40.6 |
| GSQ-RCO IQ3_S | 12.1 GB | 75.2 / 66.1 / 52.1 / 47.6 | 38.1 |
按带宽比应该快 1.8 倍,实际代码只快 19%,JSON 反而慢 7%,长提示后也更慢。原因有三层:
- i-quant 的还原(反量化)很贵。IQ 系列不是“整数 × 缩放因子”这么简单,而是用码本:每 4 或 8 个权重存一个索引,用的时候要去查表(3.5.3 节)。查表在 Vulkan 后端上开销明显,带宽省下来了,计算单元却忙不过来了。llama.cpp 作者 ikawrakow 也说过 IQ 系在某些后端(当年是 Apple Metal)不友好【社区,discussion #5617】。
- 推测解码把“带宽受限”往“算力受限”推了一步。开了 MTP 以后,每次前向要同时验证 4 个 token(1 个当前 + 3 个草稿),算术强度变成 4 倍,查表开销跟着变成 4 倍。JSON 的草稿接受率最高、每次验证的 token 最多,所以 IQ3_S 在 JSON 上吃亏最多。
- 有一部分开销跟权重大小无关:MTP 草稿层自己的前向、采样、CPU 和 GPU 之间的同步。
教训:“文件小 = 快”只在纯带宽受限时成立。到了 3 位以下,选格式时要看你的后端对这种格式的内核写得好不好。K-quant(Q4_K、Q5_K、Q6_K)的内核最成熟,在哪个后端都不差。
3.3.5 预填充(prefill)是另一回事
读提示词时,几千个 token 一起过模型,每个权重读一次要用几千次,算术强度上千,是算力受限的。这时决定速度的是矩阵乘的计算吞吐和内核质量,而不是文件大小:
- 本机 27B Q6_K 预填充约 950–1040 token/s,每个 token 约 54 GFLOP(2 × 27B),合起来约 50–56 TFLOPS,大约是 R9700 FP16 峰值的一半多。
- rdna-boosts 分支比主线 Vulkan 预填充快 22–28%,权重一模一样,靠的是专门为 RDNA4 写的量化矩阵乘内核(MMQ)。
- Paiton 的 W3Rot INT3 预填充达到 4100+ token/s,因为它把激活也量化成 4 位整数,用上了 RDNA4 的 INT4 矩阵指令(3.8.3 节)。
FP4 / INT4 张量核的主要收益在预填充。有个社区测试很能说明问题:在 Blackwell 上 NVFP4 相比 Q4_K_M 预填充快 68%,生成速度几乎没变(73.7 → 73.6 t/s)【社区,insiderllm】。生成速度只看带宽,两者大小差不多,所以一样快。
3.4 只量化权重,还是连激活一起量化
| 方式 | 写法 | 怎么算 | 好处 | 难点 |
|---|---|---|---|---|
| 只量化权重 | W4A16、W8A16 | 权重低位存储,乘之前还原成 FP16 / BF16 | 省显存、省带宽,生成直接变快;不需要特殊硬件 | 预填充不会因此变快 |
| 权重 + 激活 | W8A8、W4A4 | 两边都是低位,直接用 INT8 / FP8 / FP4 矩阵乘单元 | 预填充也能大幅加速 | 激活里有离群值,量化误差大;需要硬件支持 |
本机的 GGUF(Q6_K、IQ3_S、UD-…)全部是“只量化权重”。llama.cpp 在 CUDA 和 ROCm 上的 MMQ 内核会把激活临时量化成 8 位做整数乘法,算是一种折中。
激活的离群值:LLM.int8() 论文发现,模型规模到 60 亿参数以上时,激活里会出现少数几个“特征维度”,数值比其他维度大几十倍,而且每个 token 都出现在同样的维度上【论文,arXiv 2208.07339】。按 3.2.3 节的例子,这种维度会让整个向量的量化报废。解决办法:
- LLM.int8():把离群维度单独拿出来用 16 位算,其余 99.9% 用 8 位。
- SmoothQuant:用一个数学上等价的变换,把激活的离群幅度“搬”到权重上(激活除以 s、权重乘以 s,结果不变),因为权重比激活好量化【论文,arXiv 2211.10438】。
- 旋转:用正交矩阵把离群值的能量摊到所有维度上(3.7.3 节)。
3.5 GGUF / llama.cpp 的量化格式
GGUF 是 llama.cpp 的模型文件格式。一个 GGUF 文件里,每个张量可以用不同的量化类型。文件名里的 Q6_K 只是“主要档位”,不代表每个张量都是 Q6_K。
3.5.1 各类型的精确位数
下表的字节数直接取自 llama.cpp 源码 ggml/src/ggml-common.h 里的结构体定义(源码里每个结构体都有 static_assert 检查大小)【源码】:
| 类型 | 一块多少个权重 | 一块多少字节 | bpw | 结构要点 |
|---|---|---|---|---|
| Q8_0 | 32 | 34 | 8.5 | 1 个 FP16 缩放因子 + 32 个 int8 |
| Q4_0 | 32 | 18 | 4.5 | 1 个 FP16 缩放因子 + 32 个 4 位;对称(type-0) |
| Q4_1 | 32 | 20 | 5.0 | 多一个最小值;非对称(type-1) |
| Q5_0 / Q5_1 | 32 | 22 / 24 | 5.5 / 6.0 | |
| Q2_K | 256 | 84 | 2.625 | 16 小块 × 16,小块的缩放因子和最小值各用 4 位存 |
| Q3_K | 256 | 110 | 3.4375 | 16 小块 × 16,小块缩放因子 6 位 |
| Q4_K | 256 | 144 | 4.5 | 8 小块 × 32,小块缩放因子和最小值各 6 位 |
| Q5_K | 256 | 176 | 5.5 | 同上,元素 5 位 |
| Q6_K | 256 | 210 | 6.5625 | 16 小块 × 16,小块缩放因子用 int8;对称 |
| IQ1_S / IQ1_M | 256 | 50 / 56 | 1.5625 / 1.75 | 码本 |
| IQ2_XXS / IQ2_XS / IQ2_S | 256 | 66 / 74 / 82 | 2.0625 / 2.3125 / 2.5625 | 码本(E8 格点) |
| IQ3_XXS / IQ3_S | 256 | 98 / 110 | 3.0625 / 3.4375 | 码本 |
| IQ4_NL | 32 | 18 | 4.5 | 非线性 4 位码表 |
| IQ4_XS | 256 | 136 | 4.25 | 非线性 4 位码表 + 超级块 |
| TQ1_0 / TQ2_0 | 256 | 54 / 66 | 1.6875 / 2.0625 | 三值(−1、0、+1) |
| MXFP4 | 32 | 17 | 4.25 | 32 个 FP4 + 1 个 E8M0 缩放因子 |
| NVFP4 | 64 | 36 | 4.5 | 4 个 16 元素小块,各带一个 E4M3 缩放因子 |
一个小插曲:k-quant 的原始 PR 里作者把 Q2_K 写成 2.5625 bpw,评论区有人指出结构体实际是 84 字节,即 2.625 bpw。以源码为准。
3.5.2 k-quant:两级缩放因子
k-quant 是 llama.cpp 作者 ikawrakow 在 PR #1684 引入的,现在是 GGUF 的主力。核心思想是“超级块 + 小块”:
一个超级块 = 256 个权重
├─ 分成 16 个小块,每块 16 个权重(Q6_K、Q3_K、Q2_K)
│ 或 8 个小块,每块 32 个(Q4_K、Q5_K)
├─ 每个小块有自己的缩放因子(和最小值),但这些缩放因子本身也被量化成 4~8 位整数
└─ 整个超级块再存一个 FP16 的“缩放因子的缩放因子” d(和 dmin)这样既有小块的精度(离群值只影响 16 或 32 个数),又把每个小块的元信息压到几位,总开销很低。以 Q6_K 为例:256 个权重 × 6 位 = 192 字节,16 个 int8 小块缩放因子 = 16 字节,1 个 FP16 超级缩放因子 = 2 字节,合计 210 字节,平均 6.5625 位。
k-quant PR 里 LLaMA-7B 的困惑度(perplexity,越低越好):F16 5.9066 → Q6_K 5.9110,只差 0.07%;Q4_K_S 6.0215(+1.9%);Q2_K 6.7764(+15%)【源码,PR #1684】。现在 llama.cpp 的 quantize 工具帮助里给的 Llama-3-8B 数据也是同一个规律:Q8_0 困惑度只增加 0.0026,Q6_K 增加 0.0217,Q4_K_M 增加 0.1754,Q3_K_M 增加 0.6569,Q2_K 增加 3.52。在这些模型和测试文本上,较低位数对应更大的困惑度增量;具体任务分还要另测。
3.5.3 i-quant:用码本代替均匀格子
2 位只有 4 个格点,用均匀格子太粗了。i-quant(IQ 系列)换了思路:不单独量化每个数,而是把 8 个数当成一个 8 维向量,从一个预先准备好的“码本”里挑一个最接近的向量,只存这个向量的编号。
以 IQ2_XXS 为例【源码,PR #4773】:码本来自数学上的 E8 格点。E8 格点里满足条件的点有 3281 种,2 位预算只放得下不到 512 个,所以作者在多个模型上统计“哪些格点最常被选中”,挑出最常用的那些作为码本。这是“向量量化”的思路,和学术界的 QuIP# 同源。
好处:同样的位数,误差比标量量化小得多。坏处:还原时要查表,每次矩阵乘都要从码本里取向量。在 CUDA 上查表很快,IQ2_XS 甚至比 Q4_0 还快(带宽省得多);在当年的 Apple Metal 上就明显慢【社区,discussion #5617】。本机 R9700 的 Vulkan 后端上,GSQ-RCO IQ3_S 速度没有按文件大小等比例提升,原因就在这里(3.3.4 节)。
IQ4_NL / IQ4_XS 是另一种:4 位,但 16 个格点不是等间距的,而是按权重的实际分布(靠近 0 更密)排的一张非线性表。
3.5.4 文件名后缀:_S / _M / _L / _XL 和整文件 bpw
Q4_K_M 里的 M 是一套“哪个张量用什么类型”的预设方案:大部分张量用 Q4_K,但 attn_v、一部分 ffn_down、output 用更高的位数。所以 Q4_K 本身是 4.5 bpw,Q4_K_M 整个文件平均是 4.89 bpw。
llama.cpp quantize README 给出的 Llama-3.1-8B 整文件平均 bpw【源码】:
| 档位 | 整文件 bpw | 档位 | 整文件 bpw |
|---|---|---|---|
| IQ2_XXS | 2.38 | Q3_K_M | 4.00 |
| IQ2_M | 2.93 | Q4_K_M | 4.89 |
| IQ3_XXS | 3.25 | Q5_K_M | 5.70 |
| IQ3_S | 3.66 | Q6_K | 6.56 |
| IQ4_XS | 4.46 | Q8_0 | 8.50 |
bartowski 的 _L 变体(如 Q4_K_L)把词嵌入和输出头提到 Q8_0【社区】。
3.5.5 拆开本机的两个文件看
UD-Q6_K(现在主力用的)【文件头】:整文件 21.97 GB,平均 6.434 bpw。
| 类型 | 张量数 | 大小 | 主要用在哪 |
|---|---|---|---|
| Q6_K | 241 | 13.89 GB | 大部分 FFN、注意力、DeltaNet 投影;词嵌入 |
| Q5_K | 104 | 4.93 GB | 一部分 FFN(集中在中前段层) |
| Q8_0 | 154 | 2.85 GB | 输出头 output.weight;全部 48 层的 ssm_alpha、ssm_beta;大部分 attn_k、attn_v |
| IQ4_XS / Q4_K / IQ4_NL | 3 / 2 / 2 | 很小 | 个别 FFN |
| F32 | 若干 | 很小 | 所有归一化权重、ssm_a、ssm_conv1d、ssm_dt.bias |
GSQ-RCO IQ3_S-mtp【文件头】:整文件 12.11 GB,平均 3.546 bpw。一共用了 10 种量化类型:
| 类型 | 张量数 | 类型 | 张量数 |
|---|---|---|---|
| IQ3_S | 144 | IQ2_S | 17 |
| IQ4_XS | 96 | Q2_K | 13 |
| IQ3_XXS | 78 | IQ2_XS | 9 |
| Q4_K | 39 | Q6_K | 8 |
| IQ2_XXS | 5 | IQ1_M | 1 |
外加 ssm_alpha/beta 保持 BF16,输出头用 Q4_K,词嵌入用 IQ2_S。
每层平均 bpw(我写脚本逐层统计的):
UD-Q6_K 层 0–10: 5.6–7.0 层 11–19: 5.35–5.99(最低) 层 20–55: 6.0–6.7 层 56–63: 6.6–7.7(最高)
GSQ-RCO IQ3_S 层 0–10: 2.8–3.5 层 11–17: 2.55–2.94(最低) 层 20–35: 3.2–3.7 层 36–63: 3.7–4.2(最高)
MTP 层(64): 6.56两家方法完全不同(Unsloth 是经验 + KLD 搜索,GSQ-RCO 是带预算的优化),但得出了相似的分配:中前段层给的位最少,靠后的层给的位最多。这说明对这个模型来说,后面几层的误差对最终输出影响更大,中前段层“容错”更强。【推断】一个可能的解释:越靠近输出的层,误差越没有机会被后面的层“消化”;另外最后几层直接决定 logits 的分布。
几个值得注意的分配:
ssm_alpha/ssm_beta两家都保高精度(UD 用 Q8_0,GSQ-RCO 甚至用 BF16)。这是 Gated DeltaNet 的“遗忘门”和“写入强度”投影(第 2 章),输出要过 sigmoid / 指数,再在整个序列上连乘。小误差会沿着序列不断累积。而且它们很小(5120 × 48),保高精度几乎不占空间。- 词嵌入
token_embd:UD 用 Q6_K,GSQ-RCO 压到 IQ2_S。词嵌入每个 token 只查一行,它的大小对生成速度几乎没有影响,只影响显存。GSQ-RCO 在总大小预算下把它压得很狠,说明优化器发现嵌入的误差对输出影响不大【推断】。 - 输出头
output.weight(5120 × 248320,12.7 亿参数):每个 token 都要完整乘一遍,直接决定 24 万个 token 的概率。UD 保 Q8_0;GSQ-RCO 用 Q4_K,比文件平均 3.5 位高。 - MTP 层在 GSQ-RCO 里用 6.56 位,比主干高得多。草稿头被压坏,接受率会大跌(有社区报告把 MTP 头换成更重的量化后接受率从 48% 降到 33%),速度优势就没了。
3.5.6 imatrix:告诉量化器“哪些列重要”
imatrix(importance matrix,重要性矩阵)是 llama.cpp 的校准方法【源码,PR #4861】:
- 拿一批校准文本跑一遍模型,统计每个线性层输入激活每一维的均方值 ⟨a_i²⟩;
- 量化时,不再让每个权重的误差同等重要,而是按对应输入维度的 ⟨a_i²⟩ 加权:经常乘上大激活的那一列,误差惩罚更重。
为什么这样对:输出 = Σ 权重_i × 激活_i,激活大的那一维,权重的误差会被放大。imatrix 只用了“对角线”信息(每一维单独的二阶矩),比 GPTQ 用的完整海森矩阵简单,但便宜得多。
它对 4 位以下影响很大,对 6 位以上基本没影响。imatrix 是跟模型绑定的,不能拿别的模型的用。本机的两个文件:UD-Q6_K 用的是 unsloth 的 imatrix(496 个条目,1251 块校准文本);GSQ-RCO 用的是 1000 块 × 4096 token 的 imatrix【文件头 / 官方】。
3.5.7 Unsloth Dynamic(文件名里的 UD-)
Unsloth 的“动态量化”【官方】:
- 2.0 版(2025-04):几乎每一层都单独决定用什么类型;自建 30 万到 150 万 token 的校准集(偏对话);以 KLD(3.10 节)为主要指标,目标是“同样体积下平均 KLD 最小”。
- 3.0 版:更好的 imatrix 校准(侧重智能体编程、对话、多语言),改进层选择;评估加了“和 BF16 比 300 条提示的前 32 个 token 是否一致”这类指标。Q2_K_XL 及以下会去掉 MTP 模块省约 500 MB。官方说 Qwen3.8-27B 的 GGUF 从 8 月 19 日起用 3.0,同体积精度约提升 10%。
- Unsloth 给的 27B 总内存需求(显存 + 内存):3 位 12–14 GB,4 位 16–19 GB,6 位 23–26 GB,8 位 31 GB,BF16 56 GB。
Unsloth 自己也承认:困惑度和 KLD 受校准集影响很大,不同发布者之间不能严格比较。
3.6 经典的训练后量化算法(PTQ)
上面讲的 GGUF 格式规定了“怎么存”,而用什么算法决定每个整数取几是另一回事。同样是 IQ3_S 格式,不同算法填进去的数可以差很多(GSQ-RCO 就是例子)。
PTQ(post-training quantization,训练后量化):模型训练好之后,用少量校准数据量化,不再训练。GPTQ、AWQ、GGUF、Unsloth 都属于这一类。QAT(quantization-aware training,量化感知训练):训练或微调时就带着量化误差一起训。
3.6.1 GPTQ:量化一列,补偿其余
GPTQ(2022,IST Austria 的 Alistarh 组,也就是做 GSQ-RCO 的 ISTA-DASLab)【论文,arXiv 2210.17323】:
- 一列一列地量化权重矩阵;
- 每量化一列产生了误差,就用二阶信息(海森矩阵,由校准数据的激活算出来)把这个误差“分摊”到还没量化的列上去,让这一层的输出尽量不变;
- 1750 亿参数的模型大约 4 个 GPU 小时就能量化完,3 位 / 4 位精度损失很小。
直觉:BERT 时代你可能知道“剪枝后微调恢复精度”,GPTQ 相当于在一层之内做了一次“解析式的微调”,不用反向传播。
3.6.2 AWQ:保护 1% 重要的权重
AWQ(activation-aware weight quantization)【论文,arXiv 2306.00978】:
- 观察:只有约 1% 的权重通道特别重要,判断依据是对应的激活大不大,而不是权重本身大不大;
- 做法:不是把这 1% 留成高精度(混合精度不好做内核),而是用等价变换把这些通道放大再量化(权重乘 s、激活除 s),放大后相对误差就小了;
- 不需要反向传播。
本机相关:AMD 发布的 amd/Qwen3.8-27B-Quark-AWQ-MXFP4 就是 AWQ + MXFP4(3.8.1 节)。
3.6.3 旋转:QuaRot、SpinQuant、QuIP#
这是近两年最重要的低比特技巧,也是本机 Paiton W3Rot 的 “Rot”。
原理:如果 Q 是正交矩阵(Q × Qᵀ = I),那么
y = W x = (W Qᵀ) (Q x)把权重换成 W’ = W Qᵀ、输入换成 x’ = Q x,结果完全不变。但如果 Q 选得好(比如 Hadamard 矩阵,元素全是 ±1/√n),x 里某一维的离群值会被均匀摊到所有维度上。离群值没了,分布接近高斯,就好量化了。
拿 3.2.3 节的例子想:16 个数里有一个 5.0,乘上 16 × 16 的 Hadamard 矩阵以后,5.0 的能量被分到 16 个维度,每维只多出约 ±1.25,最大值和其他值的差距大幅缩小。
- QuaRot:W4A4、KV 也 4 位,LLaMA2-70B 困惑度损失不超过 0.47,保留 99% 的零样本精度【论文,arXiv 2404.00456】。
- SpinQuant:发现不同随机旋转之间效果能差 13 个点,于是把旋转矩阵也学出来【论文,arXiv 2405.16406】。
- QuIP#:随机 Hadamard 旋转(让权重“不相干”)+ E8 格点码本,和 llama.cpp 的 i-quant 思想同源【论文,arXiv 2402.04396】。
Hadamard 变换可以用类似 FFT 的快速算法在 O(n log n) 时间内完成,推理时现场旋转输入的开销很小。
3.6.4 AQLM、BitNet 与三值模型
- AQLM:多码本加性量化,第一个号称在 3 位以下达到“帕累托最优”的方法【论文,arXiv 2401.06118】。
- BitNet b1.58:权重只取 {−1, 0, +1}(log₂3 ≈ 1.58 位),从头训练,声称同规模下追平 BF16【论文,arXiv 2402.17764】。
- Bonsai(PrismML):三值模型,每 128 个权重共享一个 FP16 缩放因子。8B 版 1.75 GB【官方】。27B 版的细节只见到第三方转述。注意它是训练出来的三值模型,不是对现成模型做 PTQ;但社区里也有直接对 27B 做三值 PTQ 的(如 ninfer 系列的 “PTQ1”),KLD 高达 1.1,质量损失很大【社区】。原调研报告的 KLD 对比表里 “Ternary Bonsai 2 PTQ1” 的 KLD 是 1.096,比 3 位量化差一个数量级。
3.7 GSQ-RCO:本机 3 位档的来源
GSQ-RCO 是 ISTA-DASLab(GPTQ 作者团队)的方法。它不发明新格式,而是给现有 GGUF 格式找更好的取值,所以产物是标准 GGUF,主线 llama.cpp 直接能跑。分两步:
3.7.1 GSQ:用 Gumbel-Softmax 学每个权重取哪个格点
【论文,arXiv 2604.18556,2026-04】
传统 PTQ(包括 GPTQ)对每个权重做“四舍五入到最近格点 + 误差补偿”。但四舍五入是离散的,不能求梯度,没法用优化器直接最小化最终误差。
GSQ 的做法:
- 对每个权重,在目标位宽允许的几个候选格点(比如 3 位时 8 个)上放一个概率分布;
- 用 Gumbel-Softmax 把“从中选一个”这个离散操作变成可微的近似(训练中逐渐变尖,最后收敛到“确定选一个”);
- 联合优化“每个权重选哪个格点”和“每组的缩放因子”,目标是让量化后的层输出(或模型输出分布)尽量接近原版。
和 BERT 时代的知识对照:Gumbel-Softmax 原本是给 VAE 等模型做离散变量采样的技巧,这里拿来做“可微的四舍五入”。
论文数字(Llama-3.1-8B-Instruct 零样本平均分,FP16 是 73.71):
| 方法 | 3 位 | 2 位 |
|---|---|---|
| QTIP(向量 / 格子量化) | 72.81 | 69.88 |
| GSQ(标量) | 72.32 | 68.55 |
| EfficientQAT | 72.02 | 63.79 |
| GPTQ | 59.18 | 37.53 |
GSQ 是标量量化(用的是现成的 GGUF 格式),却接近向量量化的 QTIP,远好于 GPTQ。论文还演示了直接从 Unsloth 的 Qwen3-8B Q2_K 文件出发,优化取值后写回同一格式:AIME25 / GPQA / MMLU-Pro 三项平均 50.03 → 56.28。
3.7.2 RCO:在总大小预算下给每个张量选格式
【论文,arXiv 2605.00649】
问题:模型有几百个张量,每个可以选 IQ2_XXS、IQ2_S、IQ3_S、IQ4_XS、Q4_K、Q6_K……总文件大小有上限,怎么分配?这是一个组合优化问题,可能的组合是天文数字。
RCO 把“每个张量选哪个类型”也做成 softmax 概率,然后发现:“总大小的期望值 = 预算”这个约束在 logit 空间里是一个光滑的曲面(黎曼流形)。于是可以在这个曲面上做梯度下降(每步把梯度投影到曲面的切平面,再“拉回”曲面上),保证每一步都精确满足预算,不需要调惩罚系数。
论文实验(Qwen3-8B,给 252 个线性层选 2–8 位):2.25 位预算下 FineWeb 困惑度 RCO 20.47,对比进化搜索 EvoPress 21.40;而且 RCO 只用 1–3.5 小时,EvoPress 要 11–14 小时。
3.7.3 本机文件怎么来的
ISTA-DASLab 的模型卡说明了流程【官方】:
- 对每个权重张量,用 GSQ 在每种候选 GGUF 类型下各量化一次,建一个“这个张量用这个类型时误差多大”的数据库;
- 用 RCO 在整文件平均 bpw 预算下为每个张量选一个类型;
- 拼成标准 GGUF。
这就是为什么 3.5.5 节看到它混用了 10 种类型、逐层位数还有规律地变化。
模型卡数字(BF16 → GSQ-RCO IQ3_S,作者自测):wiki 困惑度 7.05 → 7.07;AIME25 100 → 100;GPQA-D 89.90 → 89.39;LCB v6 85.71 → 85.71。同大小的 Unsloth UD-IQ3_S:AIME25 96.67,GPQA-D 89.90,LCB 84.00。2.5 位档 IQ2_XS 对比 UD-IQ2_S 差距更明显(GPQA-D 84.85 对 76.26)。
本机配对的不是 BF16:精简五项套件中,GSQ-RCO 27B IQ3_S 相对 UD-Q6_K 差 −3.0 到 +0.1 分,各项 McNemar p ≥ 0.45。题集上没有检出差异,不等于证明两者等效,更不能证明相对未量化权重无损。
3.8 MXFP4、NVFP4:从转换舍入到实测分差
3.8.1 两种 4 位浮点块格式
| MXFP4(OCP 开放标准) | NVFP4(NVIDIA) | |
|---|---|---|
| 元素 | FP4 E2M1 | FP4 E2M1 |
| 一块多少个 | 32 | 16 |
| 块缩放因子 | E8M0(8 位,只能是 2 的整数次幂:…, 0.25, 0.5, 1, 2, 4, …) | FP8 E4M3(可以是 0.75、1.25 这类任意值) |
| 张量级缩放因子 | 无 | 有,1 个 FP32(两级缩放) |
| 平均位数 | 4 + 8/32 = 4.25 | 4 + 8/16 = 4.5 |
| 原生硬件 | AMD MI350/MI355X、NVIDIA Blackwell | NVIDIA Blackwell(RTX 50、B200) |
NVFP4 的两个改进都直接对着 3.2.3 节讲的问题:更小的块(离群值影响 16 个而不是 32 个),更精确的缩放因子(不用被迫取 2 的幂)。NVIDIA 的论文(arXiv 2509.25149)称这让 4 位训练和推理效果都更好。
缩放因子只能取 2 的幂有什么问题?FP4 最大能表示 6。假设一块的最大值是 4.5,理想的缩放因子是 4.5 / 6 = 0.75。MXFP4 只能选 1(向上取,否则最大值溢出),于是这一块实际只用到了格子的 0~4.5 / 1 = 4.5,最大的格点 6 浪费了,而小数值附近的分辨率也粗了。平均下来,2 的幂的缩放因子会让每块损失一部分可用精度。
3.8.2 NVFP4 转 MXFP4:为什么是有损的
方案 B 用的 Paiton 镜像,是在加载时把 NVFP4 权重转成 MXFP4(原调研报告的结论)。看起来都是“4 位浮点”,为什么转换会丢信息?
举一个例子。NVFP4 里相邻两个 16 元素小块:
小块 1:缩放因子 0.75,元素里有 6(实际值 4.5)和 0.5(实际值 0.375)
小块 2:缩放因子 0.25,元素里有 3(实际值 0.75)和 0.5(实际值 0.125)MXFP4 要把它们合成一个 32 元素的块,只能有一个、而且必须是 2 的幂的缩放因子。为了装下最大值 4.5,若取不溢出的最小二次幂刻度,可选 S = 1(4.5 / 1 = 4.5 ≤ 6):
4.5 / 1 = 4.5 → FP4 里没有 4.5,只能取 4 或 6 → 误差 0.5
0.375 / 1 = 0.375 → 只能取 0 或 0.5 → 误差 0.125
0.75 / 1 = 0.75 → 只能取 0.5 或 1 → 误差 0.25
0.125 / 1 = 0.125 → 只能取 0 → 这个权重直接变成 0第二块的刻度从 0.25 变为 1,粗了四倍。原来能准确表示的 0.125,如今离 0 比离 0.5 更近。合块再舍入可以丢信息,但不是每个元素都会改变。
另一个问题是整套实现得几分。下面对比的是两套运行配置,不是只开关一次合块转换:
| 原版 Q6_K | Paiton MXFP4 | 差值 | p | |
|---|---|---|---|---|
| MMLU-Pro 直答 | 64.6 | 61.9 | −2.7 | 0.002(显著) |
| MMLU-Pro CoT | 80.2 | 77.7 | −2.5 | 0.034(显著) |
| IFEval | — | — | 约 −4 | — |
两个 MMLU-Pro 项目都观察到了分差。要把多少分归给二次量化,需要固定原权重、推理路径、采样和题目,只改转换方式再测;这张表不能完成这个归因。
AMD 自己发布的 amd/Qwen3.8-27B-Quark-AWQ-MXFP4 是直接从 BF16 用 AWQ 量化到 MXFP4(权重和激活都是 MXFP4),没有经过 NVFP4 这一道【官方】。它的模型卡报 GSM8K 和 BF16 持平,但只测了 GSM8K。这条路径省去了一次格式转换;哪种路径在同一任务上得分更高,本机没有做对照。
3.8.3 Paiton W3Rot INT3:旋转 + GPTQ + RDNA4 指令
EliovpAI/Qwen3.8-27B-W3Rot-INT3-Paiton-RDNA4【官方】:
- 不是独立模型,是 Paiton 镜像的“替换权重”附件,只能在单张 R9700 + Paiton 的 ROCm vLLM 镜像里跑;
- MLP、注意力、DeltaNet 的投影(共 243 亿权重)用对称 INT3,每 128 个输入一个 BF16 缩放因子:3 + 16/128 = 3.125 bpw,文件 9.55 GB;
- 部分投影的权重存放在块对角 Hadamard-128 旋转基下(3.6.3 节),运行时对输入做同样的旋转;
- 校准:旋转基下做 GPTQ,再用 516 万 token 把缩放因子向 BF16 模型蒸馏;
- 预填充用 4 位整数激活、生成用 FP8 激活,正好对应 RDNA4 的 INT4 和 FP8 矩阵指令。
作者自报对比 MXFP4 镜像:加权解码 153.8 → 184.4 tok/s,预填充约 3700–3900 → 4100+ tok/s;MMLU-Pro 子集 62.57 → 59.71(p = 0.005,作者自己报的显著下降)。
3.9 哪张卡有哪种硬件
| 卡 | 架构 | 矩阵乘硬件支持 | 对本机的含义 |
|---|---|---|---|
| RTX 3090 | Ampere(sm_86) | FP16、BF16、TF32、INT8、INT4;没有 FP8、没有 FP4 | NVFP4 / FP8 模型在 3090 上只能“解压后再算”,省显存但没有算力加速;具体引擎须支持 Ampere 才能走转换路径;Ada 的 FP8 支持见下行,原生 NVFP4 见 Blackwell 行 |
| RTX 4090 | Ada | 加了 FP8 | — |
| RTX 50 / B200 | Blackwell | FP8、FP4、NVFP4、MXFP4 原生 | NVFP4 的主场 |
| R9700 | RDNA4(gfx1201) | WMMA 指令:FP16、BF16、INT8、INT4,新增 FP8 / BF8;资料里没有看到 FP4 指令 | MXFP4 / NVFP4 要软件解压成 FP8 / FP16 再算;Paiton 用 INT4(预填充)和 FP8(生成)激活正是利用了现有指令 |
| MI350 / MI355X | CDNA4 | MXFP4、MXFP6 硬件 | AMD 推 MXFP4 的原因 |
【官方 / 社区】RDNA4 的指令集信息来自 AMD GPUOpen 的 WMMA 指南和 Chips and Cheese 对 LLVM 的分析。“R9700 没有 FP4 指令”是“在资料里没看到”,没有找到 AMD 官方的明确否认,引用时注意分寸。
一个常见误解:“3090 跑 FP8 / FP4 模型不加速,所以没用”。对带宽受限的单路解码来说,减少读取量可能提速;反量化开销和后端内核也会改变结果,3.3.4 的 JSON 就是反例。没有硬件单元主要影响预填充。真正的问题是,很多 FP4 / FP8 方案的软件(vLLM 的某些内核、NInfer 等)根本不支持 Ampere,不是“慢”,是“跑不起来”。
3.10 KV 缓存的量化
KV 缓存也可以量化,llama.cpp 用 --cache-type-k / --cache-type-v(f16、bf16、q8_0、q4_0 等)控制。
本机 27B 的 KV 缓存大小(只有 16 层全注意力有 KV,每 token 每层 K + V 共 2 × 4 头 × 256 维 = 2048 个数):
| KV 精度 | 每 token | 131K 上下文 |
|---|---|---|
| f16 / bf16 | 64 KB | 8 GiB |
| q8_0 | 约 34 KB | 约 4.3 GiB |
对比:如果 64 层全是标准注意力,f16 下 131K 要 32 GiB;如果再不用 GQA(24 个头都有自己的 K/V),要 192 GiB(第 1 章)。
本机实测:
- 现用配置是 q8_0 KV,131K 上下文总显存 26.1 GiB。q8_0 对 KV 通常被认为接近无损【社区】。
- rdna-boosts 分支的 bf16 KV 在单路代码上再快约 4%(70.4 对 67.6 tok/s);43K 提示后则为 48.2 对 50.4。分支具有原生 BF16 Flash-Attention 路径,未单独计时其贡献;代价是 KV 显存翻倍(约多 4 GiB),Q6_K + 131K 仍放得下。这和“量化越多越快”看起来矛盾,其实是同一个道理:只有当带宽是瓶颈时,省字节才等于提速。短上下文下 KV 只占每步读取量的一小部分,省下的带宽抵不过解压开销。
注意事项:llama.cpp 量化 V 缓存需要开 Flash-Attention;CUDA 上如果编译时没开 GGML_CUDA_FA_ALL_QUANTS,混用 K/V 量化类型可能静默回退到 CPU 注意力,预填充慢几十倍【社区,issue #24485,二手转述】。
混合架构的特殊性【推断】:Qwen3.8 只有 1/4 的层有 KV,而 DeltaNet 层的状态是固定大小(每序列约 144 MiB),所以 KV 量化省下的显存和带宽比纯注意力模型小得多。只有到很长的上下文(几十 K 以上),KV 才成为主要开销。
3.11 怎么衡量量化质量
| 指标 | 怎么算 | 优点 | 缺点 |
|---|---|---|---|
| 困惑度(PPL) | 在一段参考文本上,模型给真实下一个 token 的平均概率(取负对数再取指数) | 简单,一个数 | 只看正确 token 的概率;不同 token 的变化会互相抵消;强烈依赖评测文本和上下文长度 |
| KLD(对 BF16 的 KL 散度) | 每个位置比较量化模型和原版的整个概率分布差多少,取平均(也看 99.9% 分位) | 直接衡量“和原版有多像”,比 PPL 敏感 | 要先跑一遍原版拿参考分布;不同发布者的数字只有在同参考、同文本、同长度下才能比 |
| Top-1 一致率 | 两个模型最可能的下一个 token 相同的比例 | 直观 | 粗 |
| 任务分(MMLU-Pro、GSM8K、IFEval…) | 实际做题 | 最接近真实使用 | 题少时噪声大(AIME 30 题,1 题 = 3.3 分);耗时 |
原调研报告引用过一个社区帖(Reddit 1w7ee1c,5080 上对比 21 个 27B 量化)的 KLD:
| 量化 | KLD(越低越好) |
|---|---|
| unsloth UD-Q4_K_XL | 0.028 |
| bartowski IQ4_XS | 0.055 |
| unsloth UD-Q3_K_XL | 0.143 |
| GSQ-RCO IQ3_S | 0.175 |
| unsloth UD-IQ3_S | 0.219 |
| Ternary Bonsai 2 PTQ1 | 1.096 |
(这个帖子在本次补充资料时没能重新打开,数字以原报告为准。)
最重要的一条:KLD 只能用来排除坏掉的量化,不能当任务分排行榜用。 证据:
- Unsloth 自己举的例子:MiniMax-M2.5 上,AesSedai IQ3_S 的 PPL / KLD 更好,但 UD-IQ2_XXS 在 LiveCodeBench 和 MMLU-Pro 上分更高【官方】。
- ByteShape 的博客专门讨论过这个问题,认为 KLD 衡量的是“偏离了多少”而不是“往哪边偏”【社区,只看到摘要】。
- 本机:GSQ-RCO IQ3_S 的 KLD(0.175)比 UD-Q4_K_XL(0.028)大 6 倍,但实测任务分和 Q6_K 分不出高低。
- 还有一个盲点:KLD 测的是主模型,不测 MTP 草稿头。MTP 头量化坏了,KLD 看不出来,但推测解码接受率会掉、速度会变慢【社区,HF 讨论区】。
3.12 总结:本机怎么选量化
| 场景 | 选什么 | 理由 |
|---|---|---|
| R9700 单卡、需要 131K 窗口 | UD-Q6_K | 约 22 GB 权重,配本章 q8_0 KV 可容纳;这里没有对 BF16 做等效检验 |
| 想再快一点 | 同一份 Q6_K,比较 rdna-boosts 的两种 KV 精度 | 单路代码从 Vulkan 的 63.4 到分支的 67.6(q8_0)或 70.4(bf16);43K 提示后分别为 40.6、50.4 和 48.2 tok/s。分支质量未单测(第 5 章) |
| R9700 上 Q8_0 | 同时看显存余量和任务分 | 此配置显存接近用满,记录的解码慢约 15%;现有题集不足以证明两档等效 |
| 3090 单卡 | 可试 GSQ-RCO IQ3_S(约 12 GB)或 Swift-1.5 GSQ-RCO | 容量上有余地。R9700 上 GSQ-RCO 原版权重与 Q6_K 的配对结果见 3.7.3,3090 上的速度需另测 |
| 单路代码,能接受所测配置的分差 | Paiton MXFP4 | 对主线 Vulkan 解码约快 2.8 倍;两项知识题低 2.5–2.7 分,未分离格式与引擎的贡献 |
| 2 位档 | 先看目标任务 | GSQ-RCO 卡片上 IQ2_XS 比 BF16 的 GPQA 低约 5 分 |
| 大 MoE(Flash-Next) | GSQ-RCO IQ3_XXS | 主干与专家约 125B,另有约 51B 查表及 4B MTP;选格式还要看专家放在哪一层存储(第 2、5 章) |
选择量化档时,先看权重、KV 和运行开销能否一起放下,再比较目标任务的分数与速度。两种 FP4 格式互转可能额外舍入,端到端损失仍要在同条件下测量。
参考资料(本章)
入门
- Maarten Grootendorst,A Visual Guide to Quantization:https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization (图解入门,最适合先看;本次未能打开核对)
- Kipply,Transformer Inference Arithmetic:https://kipp.ly/transformer-inference-arithmetic/ (为什么生成受带宽限制,推导最清楚)
- LLM Inference Unveiled: Survey and Roofline Model Insights:https://arxiv.org/abs/2402.16363 (Roofline 模型系统讲解)
llama.cpp 一手资料
ggml-common.h(每种格式的块结构,算 bpw 的唯一权威):https://github.com/ggml-org/llama.cpp/blob/master/ggml/src/ggml-common.h- quantize README(整文件 bpw 表):https://github.com/ggml-org/llama.cpp/blob/master/tools/quantize/README.md
- PR #1684 k-quants:https://github.com/ggml-org/llama.cpp/pull/1684
- PR #4773 IQ2_XXS(i-quant 的 E8 码本):https://github.com/ggml-org/llama.cpp/pull/4773
- PR #4861 imatrix:https://github.com/ggml-org/llama.cpp/pull/4861
- Discussion #5617(IQ 在不同后端的速度):https://github.com/ggml-org/llama.cpp/discussions/5617
论文
- LLM.int8():https://arxiv.org/abs/2208.07339
- SmoothQuant:https://arxiv.org/abs/2211.10438
- GPTQ:https://arxiv.org/abs/2210.17323
- AWQ:https://arxiv.org/abs/2306.00978
- QuaRot:https://arxiv.org/abs/2404.00456
- SpinQuant:https://arxiv.org/abs/2405.16406
- QuIP#:https://arxiv.org/abs/2402.04396
- AQLM:https://arxiv.org/abs/2401.06118
- BitNet b1.58:https://arxiv.org/abs/2402.17764
- FP8 Formats for Deep Learning:https://arxiv.org/abs/2209.05433
- Microscaling (MX) Data Formats:https://arxiv.org/abs/2310.10537
- NVFP4 预训练:https://arxiv.org/abs/2509.25149
- GSQ:https://arxiv.org/abs/2604.18556
- RCO:https://arxiv.org/abs/2605.00649
厂商 / 模型卡
- NVIDIA Research,Pushing Intelligence to 4-bit(MXFP4 与 NVFP4 对照):https://research.nvidia.com/labs/eai/blogs/pushing-intelligence-to-4-bit/
- AMD GPUOpen,RDNA4 WMMA 指南:https://gpuopen.com/learn/wmma-guide-amd-rdna-4-gpus-part-2/
- Unsloth Dynamic 2.0:https://unsloth.ai/docs/basics/unsloth-dynamic-2.0-ggufs ;Qwen3.8 指南:https://unsloth.ai/docs/models/qwen3.8
- ISTA-DASLab GSQ-RCO 27B:https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
- AMD Quark AWQ-MXFP4:https://huggingface.co/amd/Qwen3.8-27B-Quark-AWQ-MXFP4
- Paiton W3Rot INT3:https://huggingface.co/EliovpAI/Qwen3.8-27B-W3Rot-INT3-Paiton-RDNA4
- HF 讨论:36 个 27B 量化的 KLD / top-1 对比:https://huggingface.co/Qwen/Qwen3.8-27B/discussions/65
本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。