本地大模型架构与推理框架详解:目录与阅读路线
这套文档写给有 BERT 时代基础、但对现代大模型架构、量化和推理引擎不熟的读者。 硬件按参加测试的卡来读:27B 的后端对照用一张 R9700;Flash-Next 的异构双卡对照用 R9700 和 RTX 3090 各一张。两张 R9700 的补丁测试是项目作者自报,不是这里的机器。 写于 2026-10,数字以写作时为准。
0.1 章节一览
| 章 | 文件 | 讲什么 | 一句话结论 |
|---|---|---|---|
| 1 | 从 BERT 到今天的大模型:哪些东西变了 | 从 BERT 到现代 LLM:因果生成、大词表、RoPE、RMSNorm/SwiGLU、KV 缓存、GQA、门控与线性注意力、MoE、训练流程 | 骨架还是 Transformer,变的是“为生成和省显存做的改造” |
| 2 | 本机模型的架构拆解:Qwen3.8-27B、Flash-Next 和它们的“亲戚” | 逐个模块拆开 Qwen3.8-27B(3:1 GDN/全注意力、MTP、视觉)和 Flash-Next(MoE + QSA 稀疏注意力 + n-gram 表),以及决策模型、其他架构、图像模型 | 相同头数与精度下,16 层保留历史 K/V,随长度增长的缓存占 64 层全注意力方案的 1/4;GDN 状态另计 |
| 3 | 量化详解:把 16 位的权重压到 3~6 位,为什么还能用、为什么会更快 | 数字格式、带宽瓶颈、GGUF 的 k-quant / i-quant / imatrix、GPTQ/AWQ/旋转类方法、GSQ-RCO、MXFP4/NVFP4、KV 量化、质量指标(PPL/KLD) | 稠密模型单路解码的带宽上限可用带宽除以每步读取量估算;PPL、KLD 和任务分回答不同问题 |
| 4 | 微调变体与后训练:Swift、ThinkingCap、Signal 们到底改了什么 | SFT/RLHF/DPO/GRPO/RLVR、蒸馏、LoRA、模板、合并、abliteration;逐个看 Swift、ThinkingCap、Signal、AREX、Coder390 | 多数社区变体是“少想一点”,省 token 但很少更聪明 |
| 5 | 推理引擎:和 BERT 时代的推理框架有什么不同 | 一次前向 vs 生成循环、KV cache、连续批处理、PagedAttention、前缀缓存、内核优化、引擎地图、llama.cpp 内部、AMD vs NVIDIA、专用引擎 | 现代引擎的核心工作是“管理 KV 缓存 + 喂饱带宽” |
| 6 | 推测解码:MTP、EAGLE、DFlash2 为什么能让解码快 2–3 倍还不掉分 | 推测解码的直觉与无损证明、速度公式、草稿来源(n-gram/Medusa/EAGLE/MTP/DFlash)、深度、内容类型、并发、状态回滚 | 读一次权重验证多个 token;本机单路代码约快 2.5 倍;并发要另比同负载基线 |
| 7 | 为什么能更快、为什么分数会变:把前几章串起来 | 把前面串起来:速度的四个公式、分数变化的七个因素、McNemar 配对检验 | 两个模型在一套小题集上差几分,大多是噪声 |
| 8 | 参考资料汇总 | 按主题和阅读顺序整理的全部参考资料,以及研究中没能确认的事 | — |
0.2 阅读路线
路线 A:30 分钟速览
- 第 1 章 1.1 对照表 + 1.10 小结
- 第 3 章 3.1、3.3(为什么量化会变快)
- 第 5 章 5.1、5.2(生成循环和 KV 缓存)
- 第 6 章 6.1
- 第 7 章 7.4(回到最初的问题)
路线 B:2 小时,搞懂本机为什么这样配置
- 第 1 章全读
- 第 2 章 2.1–2.3(重点 2.3.3 为什么是 3:1、2.3.5 MTP)
- 第 3 章 3.1–3.5、3.11、3.12
- 第 5 章 5.1–5.3、5.6、5.7、5.9
- 第 6 章 6.1–6.3、6.7、6.10
- 第 7 章全读
路线 C:深入(按章顺序,配合论文) 按 1 → 8 顺序读完,每章读完后看第 8 章对应小节的 ★ 资料。建议的论文顺序:
- Illustrated GPT-2
- kipply 推理算术
- GQA
- DeltaNet 博客 → GDN 论文
- Flash-Next 技术报告
- GPTQ → AWQ → QuaRot
- llama.cpp PR #1684 / #4773
- PagedAttention
- Leviathan 推测解码
- EAGLE-3 / DFlash
- Tulu 3
按问题查
| 想知道 | 看哪里 |
|---|---|
| 为什么 27B 的 3 位档比 6 位档快、分数差多少 | 3.3、3.5.5、7.1 |
| 开 MTP 为什么能提速?它保的是逐字结果还是采样分布? | 6.1–6.3 |
| 本机 MTP 配置到 4 并发后吞吐怎样变化? | 6.7、7.1 |
| 为什么 R9700 上 Vulkan 有时比 ROCm 快 | 5.7 |
| Flash-Next 主干与专家 125B,另有 51B 查表、4B MTP,为什么能跑? | 2.5、5.6(MoE 卸载)、5.8 |
| 某个微调变体值不值得换 | 4.2、4.5、7.2、7.3 |
| 模型卡上分数高 3 分可信吗 | 4.5、7.2、7.3 |
| 转成 MXFP4 时哪里会舍入,端到端分差能归因给转换吗 | 3.8 |
0.3 来源标记的含义
正文的关键数字和说法后面带着来源标记,表示可信度:
| 标记 | 含义 | 可信度 |
|---|---|---|
| 【文件头】 | 从本机 GGUF 文件元数据直接读出(层数、头数、维度等) | 最高,就是本机文件的事实 |
| 【源码】 | 读 llama.cpp / vLLM 等源码得到 | 高(以写作时版本为准) |
| 【官方】【官方技术报告】 | 模型卡、官方文档、技术报告 | 高,但分数是厂商自测 |
| 【论文】 | 论文结论 | 高,但实验条件可能和本机不同 |
| 【本机实测】 | 来自本机调研报告的测量 | 高,但样本量有限(见 7.3) |
| 【计算】【推算】 | 根据上面的事实按公式算出来的 | 取决于输入和公式假设 |
| 【作者自报】 | 社区项目作者自己报的数字,没有独立复现 | 中,参考用 |
| 【社区】 | Reddit、GitHub 讨论里的说法 | 中低,可能只有一两人测过 |
| 【推断】 | 作者根据原理推测,没有找到直接证据 | 低,当作假设 |
| 【已核】/【未核】 | 参考资料是否打开原文核对过 | — |
0.4 术语表
按首次出现的大致顺序排列,括号里是主要讲解的章节。
模型结构
- Token / 分词器:模型处理的最小单位。现代词表有 15 万–25 万个,比 BERT 的 3 万大很多(1.3)。
- 因果(自回归)生成:每次只预测下一个 token,并且只能看前文。BERT 是双向的“完形填空”(1.2)。
- RoPE:旋转位置编码。通过旋转 Q/K 向量来表示相对位置,可以外推到更长的上下文(1.4)。
- RMSNorm / Pre-Norm:比 LayerNorm 更简单的归一化,放在子层之前(1.5)。
- SwiGLU:带门控的前馈层,有三个矩阵(gate / up / down)(1.5、2.3.4)。
- GQA(分组查询注意力):多个 Q 头共享一组 K/V 头,KV 缓存因此成倍缩小(1.6)。
- 门控注意力(Gated Attention):在注意力输出上乘一个 sigmoid 门(1.7)。
- 线性注意力 / GDN(Gated DeltaNet):用固定大小的状态矩阵代替随长度增长的 KV 缓存。Qwen3.8 有 3/4 的层是 GDN(1.7、2.3.2)。
- 混合架构:线性注意力层和全注意力层按比例交替,例如 3:1(2.3.3)。
- MoE(专家混合):每个 token 只激活少数几个“专家”前馈层。总参数大,激活参数小(1.8、2.5)。
- 共享专家 / 路由器:路由器决定用哪些专家;共享专家每个 token 都会用(2.5)。
- QSA:Flash-Next 的稀疏注意力(2.5)。
- n-gram 表(Engram):查表式记忆。Flash-Next 有一张 51B 参数的表(2.5)。
- MTP(多 token 预测):模型自带一个小预测头,一次多猜几个 token,可以用作推测解码的草稿(2.3.5、6.4)。
- mmproj:视觉编码器的投影文件,在 GGUF 里单独存放(2.3.6)。
训练与后训练
- 预训练 / 中期训练 / 后训练:分别学知识、补长上下文和推理能力、学对话和对齐(1.9)。
- SFT:监督微调,学习示范答案(4.1)。
- RLHF / PPO:用奖励模型做强化学习(4.1)。
- DPO / SimPO:直接在偏好对上优化,不需要单独的奖励模型(4.1)。
- GRPO / RLOO:用组内对比代替价值网络的强化学习方法(4.1)。
- RLVR:用可自动验证的奖励(答案对不对、测试过不过)做强化学习(4.1)。
- 蒸馏:用大模型的输出(或概率分布)教小模型(4.1)。
- LoRA / QLoRA:只训练低秩增量矩阵的轻量微调(4.1)。
- 对话模板(chat template):把多轮对话拼成模型输入的格式,模板错了分数会掉(4.1)。
- 模型合并 / abliteration:前者是把多个模型的权重做算术组合;后者是去掉“拒答方向”(4.1)。
- long2short / 过度思考:让推理模型少想一点,省 token,但不一定更准(4.3)。
量化
- bpw:平均每个权重占多少位(3.5)。
- FP16 / BF16 / FP8 / INT8 / INT4:不同数字格式(3.2)。
- 仅权重量化 / 权重+激活量化(W4A16 / W8A8)(3.4)。
- 块缩放(block scale)/ 超级块:每 32 或 256 个权重共用一个缩放因子(3.5)。
- k-quant(Q4_K_M 等):llama.cpp 的分层缩放量化(3.5)。
- i-quant(IQ3_XXS 等):用格点码本的低位量化(3.5)。
- imatrix(重要性矩阵):用校准数据统计每个权重的重要性,指导量化(3.5)。
- PTQ / QAT:训练后量化 / 量化感知训练(3.6)。
- GPTQ / AWQ:经典的 4 位训练后量化算法(3.6)。
- 离群值 / 旋转(QuaRot、SpinQuant):激活中的极端值让量化变难,正交旋转可以把它们摊平(3.6)。
- GSQ-RCO:本机 3 位档用的量化方法(3.7)。
- MXFP4 / NVFP4:4 位浮点格式,区别在块大小和缩放精度(3.8)。
- KV 量化(q8_0 / q4_0 KV):压缩 KV 缓存(3.10)。
- PPL(困惑度)/ KLD(KL 散度):衡量量化质量。KLD 和原模型逐 token 比较,更可靠(3.11)。
推理引擎
- Prefill / Decode:预填充(一次处理整个输入,算力受限)和逐 token 解码(带宽受限)(5.1)。
- TTFT / TPOT / 吞吐:首 token 延迟 / 每个输出 token 的时间 / 单位时间的总 token 数(5.1)。
- KV cache:缓存之前所有 token 的 K/V,避免重复计算(5.2)。
- 连续批处理(Orca):每一步都可以加入或移出请求(5.3)。
- PagedAttention:像操作系统分页一样管理 KV 显存(5.3)。
- 前缀缓存 / RadixAttention:相同的前缀只算一次(5.3)。
- 分块预填充(Chunked prefill):长输入切块,和解码请求交错执行(5.3)。
- FlashAttention:分块计算注意力,不把完整的注意力矩阵写回显存(5.4)。
- MMQ / MMVQ:llama.cpp 直接在量化数据上做矩阵乘 / 矩阵-向量乘的内核(5.4)。
- 内核融合 / CUDA Graphs:减少内核启动次数和显存往返(5.4)。
- ggml / GGUF / mmap:llama.cpp 的张量库 / 模型文件格式 / 内存映射加载(5.6)。
-sm layer/-sm row/-sm tensor:多卡切分方式,按层、按行、按张量(5.6)。- MoE 卸载(
--cpu-moe、-ot):把专家权重放在内存里,GPU 只放其余部分(5.6)。 - HIP / ROCm / Vulkan / CUDA:AMD 和 NVIDIA 的计算栈(5.7)。
- gfx1201 / WMMA / MFMA:R9700 的芯片代号 / 消费级卡的矩阵指令 / 数据中心卡的矩阵指令(5.7)。
- rdna-boosts:针对 RDNA4 的 llama.cpp 补丁集(5.7)。
- Roofline:用“算力上限 vs 带宽上限”判断瓶颈在哪的模型(3.3、7.1)。
推测解码
- 草稿 / 验证:小模型或预测头先猜,大模型一次验证多个 token(6.1)。
- 拒绝采样:保证输出分布和不用推测时完全一样的接受规则(6.2)。
- 接受率 α / 草稿长度 γ / 每步期望 token 数 E:若各位置在此前均通过时的条件接受概率同为 α,则 E = 1 + α + … + α^γ(6.3)。
- n-gram 草稿 / Medusa / EAGLE / DFlash:不同的草稿来源(6.4)。
- 自适应深度:根据接受情况动态调整猜几个(6.5)。
- 状态回滚:猜错时,线性注意力的状态要退回去(6.8)。
评测
- pass@1 / 平均分:每题只采样一次的通过率(7.2)。
- 污染:测试题出现在训练数据里(7.2)。
- McNemar 检验:两个模型在同一组题上的配对显著性检验(7.3)。
0.5 已知的空白
具体清单见第 8 章 8.9「研究中没能确认的事」。主要几条:
- 显卡带宽(640 / 936 GB/s)没有对照官方规格页逐项核实;
- “Vulkan 为什么在 R9700 上比 HIP 快”只有推断,没有一手分析;
- 社区微调变体的训练细节大多没有公开,第 4 章的分析主要依据本机实测和模型卡;
- 本机实测的题集小,分差多数不显著(见 7.3)。
本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。
最后更新于