第 2 章 本机模型的架构拆解:Qwen3.8-27B、Flash-Next 和它们的“亲戚”
第 1 章讲了从 BERT 到现代大模型的通用改动。这一章把本机实际在跑的模型一层一层拆开: 每个矩阵多大、为什么这样设计、对显存和速度有什么影响。
来源标记:【官方】= 模型卡 / config.json / 技术报告;【文件头】= 用 gguf-py 读本机 GGUF 得到;【论文】;【社区】;【推算】= 根据官方数字算的;【推断】= 我的理解,没有直接出处。
2.1 怎么读一个模型的“规格”
拿到一个新模型,看两个地方就能知道它的结构:
- Hugging Face 上的
config.json:层数(num_hidden_layers)、隐藏维度(hidden_size)、头数(num_attention_heads、num_key_value_heads)、FFN 维度(intermediate_size)、词表(vocab_size)、上下文(max_position_embeddings),以及各种架构开关(layer_types、full_attention_interval、num_experts等)。 - GGUF 文件头:llama.cpp 转换时把这些参数写进了文件,每个张量的名字、形状、量化类型也都在里面。
在装有 llama.cpp 所附 gguf-py、能够导入 gguf 的 Python 环境里,读头只需要模型文件名:
from gguf import GGUFReader
r = GGUFReader('Qwen3.8-27B-UD-Q6_K.gguf')
for k, f in r.fields.items(): print(k, f.contents()) # 超参数
for t in r.tensors: print(t.name, t.tensor_type.name, t.shape) # 每个张量本章的表格大部分就是这么读出来再和官方 config 对照的。
2.2 Qwen3.8-27B:总览
2.2.1 规格表
| 项 | 值 | 来源 |
|---|---|---|
| 类型 | 因果语言模型 + 视觉编码器;稠密(不是 MoE) | 【官方】 |
| GGUF 架构名 | qwen35(和 Qwen3.5 共用实现) | 【文件头】 |
| 参数 | 27.32B(语言部分,含 MTP 层);HF 页面显示约 28B,是因为算上了视觉塔 | 【文件头】【官方】 |
| 层数 | 64 层主干 + 1 层 MTP(GGUF 里 block_count = 65) | 【文件头】 |
| 布局 | 16 × (3 × Gated DeltaNet 层 + 1 × Gated Attention 层),全注意力层是第 3、7、11 … 63 层 | 【官方】【文件头】 |
| 隐藏维度 | 5120 | |
| FFN | SwiGLU,中间维度 17,408 | |
| 全注意力层 | 24 个 Q 头、4 个 KV 头(GQA 6:1),每头 256 维;只有 64 维做 RoPE;输出带门控 | 【官方】【文件头】 |
| DeltaNet 层 | 16 个 key 头 × 128、48 个 value 头 × 128,状态 128 × 128,短卷积核 4 | 【文件头】 |
| 位置编码 | RoPE,底数 1e7,M-RoPE 分段 [11, 11, 10](时间 / 高 / 宽) | 【文件头】 |
| 词表 | 248,320;输入嵌入和输出头不共享权重,各 1.27B 参数 | 【官方】【文件头】 |
| 上下文 | 原生 262,144,官方称可扩展到 100 万 | 【官方】 |
| 视觉 | 27 层 ViT,宽 1152,patch 16,支持图片和视频 | 【官方】 |
| 许可 | Apache-2.0 | 【官方】 |
2.2.2 一张图看懂整体结构
输入 token ──► 词嵌入 token_embd (248320 × 5120)
│
▼
┌──────────── 重复 16 次 ────────────┐
│ 层 4k+0 : RMSNorm → Gated DeltaNet → 残差 → RMSNorm → SwiGLU FFN → 残差
│ 层 4k+1 : RMSNorm → Gated DeltaNet → 残差 → RMSNorm → SwiGLU FFN → 残差
│ 层 4k+2 : RMSNorm → Gated DeltaNet → 残差 → RMSNorm → SwiGLU FFN → 残差
│ 层 4k+3 : RMSNorm → Gated Attention → 残差 → RMSNorm → SwiGLU FFN → 残差
└────────────────────────────────────┘
│
▼
RMSNorm → 输出头 output (5120 → 248320) → 下一个 token 的概率
│
└──► MTP 层 blk.64(推测解码时才用,猜第 2 个 token)和 BERT-base 对比:
| BERT-base | Qwen3.8-27B | |
|---|---|---|
| 层数 | 12 | 64 |
| 隐藏维度 | 768 | 5120 |
| 每层的“混合 token”的模块 | 全部是双向 softmax 注意力 | 48 层线性注意力(DeltaNet)+ 16 层因果 softmax 注意力 |
| FFN | 768 → 3072 → 768,GELU | 5120 → 17408 → 5120,SwiGLU(3 个矩阵) |
| 归一化 | Post-LN(LayerNorm) | Pre-norm(RMSNorm) |
| 位置 | 512 个可学习的绝对位置 | RoPE,原生 262,144 |
| 词表 | 30,522(WordPiece) | 248,320(字节级 BPE) |
| 参数 | 1.1 亿 | 273 亿 |
2.2.3 参数都花在哪里
用 GGUF 里的张量形状逐个算【文件头 + 推算】:
| 部分 | 每层参数 | 层数 | 合计 |
|---|---|---|---|
| SwiGLU FFN(gate、up、down 三个 5120 × 17408) | 267.4M | 64 | 17.11B(63%) |
| DeltaNet 的混合模块(qkv 投影 5120 × 10240、输出门 5120 × 6144、输出 6144 × 5120、α/β 投影等) | 约 115.6M | 48 | 5.55B(20%) |
| 全注意力模块(Q+门 5120 × 12288、K 和 V 各 5120 × 1024、输出 6144 × 5120) | 约 104.9M | 16 | 1.68B(6%) |
| 词嵌入 | 1.27B | ||
| 输出头 | 1.27B | ||
| MTP 层(一层完整 Transformer + 拼接投影) | 约 0.44B | ||
| 合计 | ≈ 27.3B |
两个观察:
- FFN 占了将近三分之二的参数。这也是为什么 MoE 都是把 FFN 换成专家(2.5.2 节),以及量化时 FFN 的位数分配对文件大小影响最大(第 3 章)。
- 词表 24.8 万,嵌入和输出头加起来 2.54B,接近一个小模型的大小。词表大的好处是中文、代码切出来的 token 更少;坏处是输出头每个 token 都要完整算一遍(嵌入只是查一行,见第 3 章 3.3.3 节)。
2.3 逐个模块拆开
2.3.1 全注意力层:GQA + 门控 + 部分 RoPE + QK-Norm
GGUF 里第 3 层(全注意力层)的张量【文件头】:
blk.3.attn_q.weight 5120 × 12288 ← 24 头 × 256 维 = 6144 的 Q,再加 6144 的“输出门”
blk.3.attn_k.weight 5120 × 1024 ← 4 个 KV 头 × 256
blk.3.attn_v.weight 5120 × 1024
blk.3.attn_q_norm.weight 256 ← 每个头的 Q 先做 RMSNorm(QK-Norm)
blk.3.attn_k_norm.weight 256
blk.3.attn_output.weight 6144 × 5120逐条解释:
(1) GQA:24 个 Q 头共用 4 组 K/V。 BERT 的每个头都有自己的 K、V。这里每 6 个 Q 头共享一组。K/V 少了 6 倍,KV 缓存就小 6 倍。质量损失很小,因为不同头的 K/V 本来就高度相关【论文,GQA arXiv 2305.13245】。
(2) 每头 256 维,比常见的 128 大一倍。【推断】头少、每头宽,在 KV 头只有 4 个时能保住每个头的表达力。
(3) 部分 RoPE:256 维里只有 64 维做旋转(partial_rotary_factor = 0.25)。另外 192 维不带位置信息,只看内容。【推断】这样一部分维度专门做“按内容检索”,不受距离影响,对长上下文的远距离检索有利。RoPE 底数 1e7(Qwen3 是 1e6),底数越大,旋转越慢,能区分的距离越远。
(4) M-RoPE [11, 11, 10]:64 维旋转维度(32 对)分成三段,分别编码时间、图像的行、列。纯文本时三段用同一个位置,等价于普通 RoPE;图片和视频 token 才有不同的行列坐标。
(5) QK-Norm:Q 和 K 在算点积前各自做 RMSNorm。防止训练中注意力分数爆炸(logit 太大导致 softmax 饱和),是近两年大模型训练稳定性的标配。
(6) 门控注意力(Gated Attention):attn_q 输出 12288 维,一半是 Q,另一半是“门”。注意力的结果在送进 attn_output 前,逐元素乘上 sigmoid(门):
o = Attention(Q, K, V) # 普通的 softmax 注意力
o = o ⊙ σ(W_gate · x) # 由当前 token 决定每一维放行多少
y = W_o · oQwen 团队的论文(arXiv 2505.06708)发现这个小改动有三个好处:增加了非线性;让输出更稀疏;消除了“注意力汇点”(attention sink),即模型被迫把大量注意力分给第一个 token 的现象。后者对长上下文和量化都有好处,因为汇点会制造激活里的离群值(第 3 章 3.4 节)【论文】。
2.3.2 Gated DeltaNet 层:用固定大小的“记忆矩阵”代替 KV 缓存
这是 Qwen3.5 / 3.8 和 BERT 差别最大的地方,值得细讲。
先回顾 softmax 注意力的问题:第 t 个 token 要和前面所有 t 个 token 算相似度,KV 缓存随长度线性增长,计算量随长度平方增长。
线性注意力的思路:去掉 softmax,注意力可以改写成
输出_t = Σ_i (q_t · k_i) v_i = q_t · (Σ_i k_i v_iᵀ) = q_t · S_t其中 S_t = Σ_i k_i v_iᵀ 是一个 d_k × d_v 的矩阵(这里是 128 × 128),每来一个新 token 就加上 k_t v_tᵀ。不管上下文多长,状态都是一个固定大小的矩阵,每一步的计算量和显存都是常数。
可以把 S 想成一块“快速记忆”:用 key 当地址写入 value,查询时用 q 去读。
问题:只加不减,记忆会塞满、互相干扰。同一个 key 写两次,两个 value 会叠在一起。
DeltaNet 的改进(delta 规则)【论文,arXiv 2406.06484】:写入前先用 k_t 读一下“这个地址现在存着什么”,只写入差值:
旧值 = S_{t-1}ᵀ k_t # 这个地址现在存着什么
S_t = S_{t-1} + β_t · k_t (v_t − 旧值)ᵀ # 只写入“新值 − 旧值”,β_t 是写入强度这和经典的 delta 学习规则(Widrow-Hoff,最小均方误差在线学习)一模一样:S 是一个线性回归器,每个 token 做一步梯度下降,让 S 记住“k_t → v_t”这个映射。同一个 key 再来一次,就是改写而不是叠加。
Gated DeltaNet 再加一个遗忘门 α_t【论文,arXiv 2412.06464】:
S_t = α_t · (I − β_t k_t k_tᵀ) S_{t-1} + β_t k_t v_tᵀα_t ∈ (0, 1) 由当前 token 决定,每一步把整个记忆衰减一点。遇到话题切换、新段落,模型可以选择大幅遗忘。delta 规则负责“精确改写”,门控负责“整体清理”,两者互补。
对应到 GGUF 张量(第 0 层)【文件头】:
blk.0.attn_qkv.weight 5120 × 10240 ← q (16×128) + k (16×128) + v (48×128) 拼在一起
blk.0.ssm_conv1d.weight 4 × 10240 ← 对 q、k、v 做核长 4 的因果短卷积
blk.0.ssm_alpha.weight 5120 × 48 ← 每个 value 头一个遗忘门 α
blk.0.ssm_beta.weight 5120 × 48 ← 每个 value 头一个写入强度 β
blk.0.ssm_a 48 ← 遗忘门的可学习基础衰减率
blk.0.ssm_dt.bias 48 ← 遗忘门的偏置
blk.0.ssm_norm.weight 128 ← 输出前的归一化
blk.0.attn_gate.weight 5120 × 6144 ← 输出门(和全注意力层的门同理)
blk.0.ssm_out.weight 6144 × 5120 ← 输出投影几个细节:
- 16 个 key 头、48 个 value 头:每个 key 头服务 3 个 value 头,和 GQA 一个思路。状态一共 48 个 128 × 128 的矩阵。
- 短卷积(核长 4):在送进 DeltaNet 前,q/k/v 先和前 3 个 token 做一次局部混合。线性注意力不擅长“看相邻几个词”这种局部模式,短卷积专门补这一块。这也是 GGUF 里叫
ssm_(状态空间模型)的原因,这套写法来自 Mamba。 - 遗忘门的计算【源码 / 推断】:参考 Hugging Face 的 Qwen3-Next 实现,大致是
g = −exp(A) · softplus(W_α x + dt_bias),α = exp(g)。这是 Mamba-2 的写法,保证 α 在 0 和 1 之间。 - 状态用 FP32 存(
mamba_ssm_dtype = float32)【官方】。状态在整个序列上不断累积,低精度误差会滚雪球。这和第 3 章“ssm_alpha/beta两家量化都给高精度”是同一个原因。 - q、k 做 L2 归一化,输出门用 sigmoid【官方技术报告】。
训练时怎么并行? 上面的公式看起来是一个 token 一个 token 地串行更新,GPU 上很慢。实际训练和预填充用“分块并行”算法(chunkwise,WY 表示):把序列切成 64 个 token 一块,块内用矩阵乘并行算,块之间才串行传递状态。这就是为什么 llama.cpp 和 vLLM 需要专门的 DeltaNet 内核(第 5 章)。
状态有多大【推算】:每层 48 × 128 × 128 × 4 字节 = 3 MiB,48 层合计约 144 MiB,和上下文长度无关。另外每层还有一个卷积缓存(3 个 token × 10240 维),很小。
2.3.3 为什么是 3 : 1 混合
纯线性注意力的致命弱点:状态大小固定,记忆总会有损。让它从 10 万字里一字不差地找回一个电话号码,固定大小的矩阵做不到。softmax 注意力保留了每个 token 的 K/V,可以精确检索。
所以 Qwen 的做法是每 4 层里 3 层用 DeltaNet 做“压缩式记忆”,1 层用全注意力做“精确查找”【官方技术报告】。Qwen 在 Flash-Next 技术报告里做了对照实验(25B-A3B 的 MoE,4000 亿 + 800 亿 token)【官方】:
| 结构 | 9 项基准平均 |
|---|---|
| 全部 softmax 注意力 | 49.87 |
| 3:1 滑动窗口(窗口 128)混合 | 51.15 |
| 3:1 Gated DeltaNet 混合 | 53.81 |
53.81 对 49.87 是这组 25B-A3B MoE 架构消融的九项平均,不是把下表这台机器上的稠密 27B 换成全注意力又测了一次。
对显存的意义(bf16 KV,每 token)【推算】:
| 模型 | 有 KV 的层 | 每 token KV | 262K 上下文 |
|---|---|---|---|
| Qwen3-32B(64 层全 GQA,8 KV 头 × 128) | 64 | 256 KiB | 64 GiB |
| Qwen3.8-27B(16 层,4 KV 头 × 256) | 16 | 64 KiB | 16 GiB + 144 MiB 状态 |
| Qwen3.8-Flash-Next(12 层 QSA,2 KV 头 × 256) | 12 | 24 KiB | 6 GiB |
本机用 q8_0 KV 时再减半,131K 上下文只占约 4.3 GiB。这就是 32 GB 的 R9700 能跑 Q6_K + 131K 上下文的原因。
对速度的意义:生成时每步要读的 KV 少了 4 倍,长上下文后的掉速也少很多(第 3 章 3.3.3 节:在 rdna-boosts 不开推测的 27B 配置上,43K 提示后从 24.7 到 23.0 tok/s,约低 7%;开启 MTP 的对照见第 7 章 7.1.4 节)。
2.3.4 SwiGLU FFN
FFN(x) = W_down · ( SiLU(W_gate · x) ⊙ (W_up · x) )BERT 的 FFN 是 W2 · GELU(W1 · x),两个矩阵。SwiGLU 多一个“门”矩阵,一路过激活函数当门,一路当值,逐元素相乘【论文,arXiv 2002.05202】。为保持参数量,中间维度通常取 8/3 倍隐藏维度,这里 17408 / 5120 = 3.4 倍。
FFN 通常被认为是模型存“知识”的地方(每一行 W_up 像一个“模式检测器”,W_down 对应的列是“检测到之后往残差里写什么”)。第 3 章提到“知识题对量化最敏感”,和这个有关【推断】。
2.3.5 MTP 层:模型自带的“草稿员”
GGUF 里的第 65 层 blk.64 是 MTP(multi-token prediction,多 token 预测)层【文件头】:
blk.64.nextn.eh_proj 10240 → 5120 ← 把“第 t+1 个 token 的嵌入”和“第 t 个位置的隐状态”拼接后压回 5120
blk.64.nextn.enorm / hnorm ← 拼接前分别归一化
blk.64.* ← 一层完整的 Transformer(注意力 + FFN)
blk.64.nextn.shared_head_norm ← 然后共用主模型的输出头工作方式:主模型算完位置 t、得到隐状态 h_t,并预测出 token_{t+1};MTP 层拿 h_t 和 token_{t+1} 的嵌入,再过一层,预测 token_{t+2}。还可以接着用自己的输出再预测 t+3……
训练时它是“额外的监督信号”(同一段文本多学一点“往后看两步”);推理时它是推测解码的草稿模型:先便宜地猜几个 token,再让主模型一次性验证(第 6 章)。本机开 MTP 后代码生成从约 25 tok/s 提到 63 tok/s,靠的就是它。
官方卡片说它“用多步训练”:权重只有 1 层,但训练时连续展开预测好几步,所以推理时连猜 3 个 token 也有不错的接受率(本机 0.63–0.66)【官方 + 本机实测】。
2.3.6 视觉部分
一个 27 层的 ViT(宽 1152、16 头),把图片切成 16 × 16 的块,相邻 2 × 2 块合并成 1 个 token,再投影到 5120 维,和文本 token 拼在一起送进语言模型;视频还会把相邻 2 帧合并【官方】。llama.cpp 里视觉塔是单独的 mmproj 文件。本机目前只用文本,视觉部分不展开。
2.4 同一副骨架,不同的训练:Qwen 的谱系
| 世代 | 时间 | 结构上的变化 |
|---|---|---|
| Qwen3(如 32B) | 2025-04 | 纯稠密,64 层全 GQA 注意力;词表 151,936;原生 40,960 上下文 |
| Qwen3-Next-80B-A3B | 2025-09 | 第一次引入 3:1 Gated DeltaNet + 门控注意力;MoE 512 专家;262K 上下文;MTP |
| Qwen3.5(含 27B 稠密版) | 2026-02 | 原生多模态;词表扩到 248,320(覆盖约 200 种语言);27B 的结构和 3.8 完全一样 |
| Qwen3.6 | 2026-04 | 结构不变;后训练强化代理编程、前端;新增“思考保留” |
| Qwen3.8-27B | 2026-08 | 结构不变;强化代码、专业工作、长程代理;reasoning_effort 分档 |
| Qwen3.8-Flash-Next | 2026-08 | “Qwen4 架构预览”:稀疏注意力 QSA、门控残差、n-gram 嵌入表、Muon 优化器 |
【官方 config】三代 27B 的 config 逐项对比,结构参数一字不差。时间来自聚合站,官方卡片没写日期【社区】。
对得上的层数、维度和布局,说明几个版本能用同一张结构图来读。配置文件不记录训练数据或各阶段对分数的贡献,不能凭它把增益归给某轮后训练。第 4 章还要分清改过权重、只改模板和重新量化三种情况。
2.4.1 思考开关和推荐采样【官方】
Qwen3.8 默认开启“思考”(先在 <think> 里写推理过程,再给答案)。
- 关闭:请求里加
chat_template_kwargs: {"enable_thinking": false}。 reasoning_effort:xhigh(默认)/medium/low,控制思考长度。preserve_thinking:默认保留多轮对话里历史消息的思考块。
| temperature | top_p | top_k | min_p | presence_penalty | |
|---|---|---|---|---|---|
| 思考模式 | 1.0 | 0.95 | 20 | 0 | 0 |
| 非思考模式 | 0.7 | 0.80 | 20 | 0 | 1.5 |
为什么思考模式要用温度 1.0 而不是 0(贪心):长推理在贪心解码下容易陷入重复循环。本机实测 Flash-Next 在温度 0 下 IFEval 只有 85.0,推荐设置下是 96.0(第 7 章)。
2.5 Qwen3.8-Flash-Next:MoE + 稀疏注意力 + n-gram 表
2.5.1 规格【官方】
| 项 | 值 |
|---|---|
| 参数 | 125B(主干 + 全部专家)+ 51B n-gram 嵌入表 + 4B MTP ≈ 180B;每个 token 只激活约 6B |
| GGUF 架构名 | qwen4exp |
| 层数 / 隐藏维度 | 48 层,2560 |
| 布局 | 12 × (3 × Gated DeltaNet + 1 × QSA),每一层的 FFN 都是 MoE |
| MoE | 512 个路由专家,每个 token 选 10 个 + 1 个共享专家;每个专家中间维度只有 640 |
| QSA 层 | 24 Q 头、2 KV 头、每头 256;索引器预算 2048 个 token |
| 门控残差 | 残差流加宽为 4 路 |
| n-gram 表 | 只在第 2 层;按二元组、三元组哈希查表 |
| 上下文 | 原生 262,144,可扩到 100 万 |
| 许可 | qwen-community-1.0(不是 Apache) |
官方称:和 Qwen3.5-397B-A17B 相比,用 1/3 的激活参数、1/3 的训练 token、约 1/9 的训练算力,14 个预训练基准里 8 个领先,其余最多落后 2.6 分【官方,自报】。
2.5.2 MoE:总参数和计算量脱钩
第 1 章介绍过 MoE。在 Flash-Next 里:
每一层的 FFN =
共享专家(每个 token 都过)
+ 路由器打分 512 个专家 → 选 top-10 → 10 个专家的输出按分数加权求和每个专家是一个小 SwiGLU(2560 → 640 → 2560,约 490 万参数)。每个 token 每层选中 512 个路由专家中的 10 个(约 2%),另外总会经过 1 个共享专家。
对推理的意义【推断 + 本机实测】:
- 显存:所有专家都得放得下。3 位量化后仍有约 76 GB,单卡装不下,要把专家分散到显存、内存(本机 Strata 引擎就是干这个的,第 5 章)。
- 速度:每个 token 只读激活的那 6B 参数,3 位下约 2.5 GB,所以生成可以比 27B 稠密模型还快。本机 Strata 跑 Flash-Next 达到 112.7 tok/s(代码),27B 是 63–70 tok/s。
- 批处理变差:并发多个请求时,不同 token 选的专家不同,要读的专家总量随批大小增长,MoE 的批处理收益不如稠密模型。
细粒度专家 + 共享专家(DeepSeekMoE 的思路,arXiv 2401.06066):专家切得小而多,组合方式就多(512 选 10 的组合数是天文数字),每个专家更专精;共享专家承担所有 token 都需要的通用知识,避免每个路由专家都重复学一遍。
2.5.3 QSA:块级稀疏注意力
全注意力层每个 token 要看全部历史。QSA(Qwen Sparse Attention)先用一个便宜的“索引器”给历史打分,只挑最相关的 2048 个 token 做真正的注意力【官方技术报告】:
- 索引器是一个很小的 MQA(4 个 query 头、1 个 key 头,每头 128 维),而且先把 key 按 4 个一组池化,打分成本降到原来的 1/4;
- 按小块(micro-block)选,而不是逐个 token 选,对 GPU 更友好;
- 路线来自 DeepSeek Sparse Attention(DSA)。
上下文不超过 2048 时,QSA 和稠密注意力结果完全一样;超过以后才开始挑选。llama.cpp 的实现验证:WikiText-2 困惑度 4.0068,参考实现 4.0126;超出预算后约 3% 的位置和稠密注意力结果不同【官方,PR #27742】。官方称在 100 万上下文时,注意力内核预填充快 7.6 倍、生成快 4.9 倍。
有意思的是,预训练时用的是全注意力,继续预训练阶段才换成 QSA。
2.5.4 门控残差(Gated Residual):为了训练稳定
传统残差:x ← x + 子层(x),只有一条主干。门控残差把主干加宽成 4 路,每个子层读的时候用数据相关的 sigmoid 门决定从每路读多少,写的时候每路有一个标量门【官方技术报告】。思路来自 Hyper-Connections / mHC,但去掉了路之间的混合矩阵以降低开销。
它的主要作用是训练稳定:在 4 倍最优学习率的压力测试下,旧结构频繁出现 loss 尖峰,新结构全程平稳;正式训练“一次 loss 尖峰都没有”。对推理来说,它让残差流变成 4 倍宽,多了一点显存和计算。
2.5.5 n-gram 嵌入表:查表式的“记忆”
这是 Flash-Next 最特别的部分。
是什么:一张巨大的嵌入表,用“以当前 token 结尾的二元组、三元组”做哈希来索引。比如当前 token 是“网”,前面是“有色”,就用“色网”和“有色网”分别哈希,查出向量,加到第 2 层的隐状态上【官方技术报告 + config】。
规模【推算,和官方吻合】:二元、三元两种 × 每种 8 个哈希函数 × 2000 万个桶 = 3.2 亿行,每行 160 维,合计约 512 亿参数,与官方的 51B 口径相符。按这些取整后的行数估算,bf16 每个参数 2 字节,约 102.4 GB(95.4 GiB)。
为什么有用:语言里大量“固定搭配”(人名、术语、成语、代码里的固定写法)靠查表就能记住,不需要占用 MoE 专家的计算。Qwen 的实验里,表越大损失越低,中文基准(C-Eval、CMMLU)提升明显;但在总参数固定时拿专家换表并不划算,所以他们保持专家不变、额外加表【官方】。
为什么推理时便宜:
- 每个 token 只查 16 行(2 种 × 8 个哈希),读几 KB,几乎不占带宽;
- 地址在看到 token 时就确定了(不像 MoE 要先算路由),所以表可以放在内存甚至硬盘里,提前预取;
- 只放在第 2 层,就是为了让“从内存取数据”和第 1 层的计算重叠。
这个思路和 DeepSeek 2026 年初的 Engram 论文(arXiv 2601.07372)同源,也借鉴了 Gemma 3n 的“逐层嵌入”(PLE)。llama.cpp 里 GGUF 张量名就叫 per_layer_token_embd。
对本机的意义:约 51B 的查表参数可以放在内存里,约 125B 的主干和专家要按访问频率安排位置。若启用草稿预测,还要计入约 4B 的 MTP 权重。
2.5.6 训练上的改动(了解即可)
- 优化器:二维权重矩阵用 Muon(对梯度做 Newton–Schulz 正交化),嵌入、输出头、路由器用 AdamW。
- 全模型统一使用零中心 RMSNorm。
- 全注意力层保留 RoPE:去掉位置编码(NoPE)预训练没区别,但后训练后“生成停不下来”的概率显著升高。
2.6 决策模型:h2o-lightning-4b 和 JEV-27B
这两个模型不是用来聊天的,而是用来做分类和打分。有意思的是,它们用的方法和 BERT 时代的“分类头”非常像。
2.6.1 共同思路:一次前向,读选项概率
BERT 做分类:在 [CLS] 上接一个线性层 + softmax。
现代 LLM 的做法:把问题和选项写进提示词,让每个选项对应一个单 token 的标签(比如 A/B/C 或 yes/no),只跑一次前向,直接读“答案位置”上这些标签 token 的概率,不生成任何文字。成本只有输入 token 的预填充,没有生成。再经过校准,得到可信的概率分布。
2.6.2 h2o-lightning-4b【官方】
- 基座 Qwen3.5-4B(32 层、隐藏 2560,同样的 3:1 DeltaNet 混合结构);Apache-2.0;
- 支持三种题型:
choice(选项)、noul(是/否,给出为真的概率)、score(0–5 分及分布); - 跑在未修改的 vLLM 上,用 pooling 模式取最后一个位置的 logits(fp32),外面套一个小的服务层;
- v1.3 起可以选择对提示词使用双向注意力(像 BERT 那样“读”),官方推荐默认开启;
- 自报 JevBench 开放权重榜第一(72.5);RTX 5090 上单次约 29 ms。
具体是全参微调还是 LoRA,卡片没有写清楚【未核实】。
2.6.3 JEV-27B【官方 + 服务器上的文件】
- 基座 Qwen3.8-27B 完全冻结;
- 加一个可拆卸的“System 1”模块:LoRA r = 16(作用于解码器的投影层,约 1.088 亿参数)+ 24 个槽位的 fp32 决策头(用 lm_head 的对应行初始化,约 12.3 万参数);合计约占总参数的 0.4%;
- LoRA 开着时是“快速决策器”,关掉时就是原版 Qwen3.8-27B(官方说 164 条 HumanEval 补全和基座逐字节一致);
- 训练:向闭源的 TypeSafe Jev 1.13 蒸馏;损失 = KL + 0.5 × RPS(ranked probability score,对有序打分的惩罚),再做温度校准;自报 ECE 0.0009。
注意:服务器 README 里写的 “r32” 是错的,adapter_config.json 里实际是 r = 16。
LoRA 的原理在第 4 章细讲:冻结原权重 W,只训练一个低秩增量 ΔW = B × A(A 是 r × k,B 是 d × r,r 很小),可以合并回 W,也可以作为开关随时挂载。
2.7 其他架构对照(社区常拿来比的)
| Qwen3.8-27B | Qwen3.8-Flash-Next | GLM-5.3-Flash | DeepSeek-V4-Flash | |
|---|---|---|---|---|
| 总参数 / 激活 | 27B 稠密 | 约 180B(125B 主干与专家、51B 表、4B MTP)/ 约 6B | 320B / 18B | 284B / 13B |
| 层数 | 64 | 48 | 45 | 43 |
| 线性层 | 48 × Gated DeltaNet | 36 × Gated DeltaNet | 34 × KDA | 无 |
| 精确注意力层 | 16 × 门控 GQA | 12 × QSA 稀疏 | 11 × 稀疏 MLA | 全部:压缩 + 稀疏注意力(CSA / HCA) |
| KV 头 | 4 | 2 | MLA 低秩潜向量 | 1(每头 512 维) |
| MoE | 无 | 512 专家选 10 + 1 共享 | 288 选 8 + 1 共享 | 256 选 6 + 1 共享 |
| MTP | 1 层 | 1 层 | 1 层 | 1 层 |
| 上下文 | 262K | 262K | 1M | 1M |
| 许可 | Apache-2.0 | qwen-community | MIT | MIT |
【官方 config】
几个名词:
- KDA(Kimi Delta Attention):Moonshot 的 Kimi Linear 提出,在 Gated DeltaNet 基础上把遗忘门从“每个头一个数”细化到“每个通道一个数”【论文,arXiv 2510.26692】。
- MLA(多头潜在注意力):DeepSeek-V2 提出,把 K/V 压成一个低秩向量缓存,用的时候再展开,KV 缓存比 GQA 还小【论文,arXiv 2405.04434】。
- REAP:Cerebras 的专家剪枝方法【论文,arXiv 2510.13999】。用“路由分数 × 专家输出大小”给每个专家打分,直接删掉最不重要的一批,不再训练。社区的“GLM-xxx-REAP”版本就是这么来的。注意 REAP 只减少总参数(显存),不减少每个 token 的计算量。
大趋势:所有新模型都走向“大部分层用线性 / 压缩 / 稀疏注意力,少数层保留精确注意力”和“MoE + 共享专家”,同时都带 MTP 草稿头。这几件事对推理引擎提出了新要求(第 5 章)。
2.8 附:本机的图像 / 视频生成模型(ComfyUI)
服务器上的 ComfyUI 跑的是另一类模型。它们和语言模型共享 Transformer 的部件,但工作方式完全不同。
2.8.1 扩散、流匹配和 DiT
- 扩散模型(DDPM,arXiv 2006.11239):训练时往图片里逐步加噪声,网络学习预测噪声;生成时从纯噪声出发,几十步逐步去噪。
- 流匹配 / 整流(Flow Matching arXiv 2210.02747、Rectified Flow arXiv 2209.03003):学习一个“速度场”,让噪声沿近似直线走到图片,生成时用 Euler 法走若干步。目标更简单、路径更直,更容易压到少步。本机这几个模型都用
FlowMatchEulerDiscreteScheduler【官方】。 - DiT(Diffusion Transformer,arXiv 2212.09748):用 Transformer 代替 U-Net 做去噪网络。对 BERT 读者来说,DiT 就是一个没有因果掩码的 Transformer,输入是 VAE 压缩后图片的小块(patch token)加上文本 token。
- 单流 vs 双流:双流(如 SD3 的 MMDiT)文本和图像各有一套权重,只在注意力里拼接;单流则把文本和图像 token 拼成一条序列,共用一套权重。
2.8.2 “Turbo”、蒸馏、少步
原版模型通常要 30–50 步,每步还要做 CFG(classifier-free guidance:有条件、无条件各算一次再外推),即每步 2 次前向。Turbo / 蒸馏版用分布匹配蒸馏(DMD,arXiv 2311.18828)或一致性模型(LCM,arXiv 2310.04378)把轨迹压缩到 1–8 步,同时把 CFG 的效果“烘焙”进权重,每步只需 1 次前向。代价是生成多样性下降。“few-step LoRA”就是把这种蒸馏结果存成 LoRA,挂到原模型上。
2.8.3 本机的几个模型【官方】
| 模型 | 规模 | 结构 | 特点 |
|---|---|---|---|
| Z-Image-Turbo(通义) | 6B | 单流 DiT(S3-DiT);文本编码器是 Qwen3 | 蒸馏 8 步、不用 CFG;Apache-2.0 |
| FLUX.2 [klein] 4B(BFL) | 4B | 整流 Transformer;文本编码器是 Qwen3 | 蒸馏版;文生图 + 多图编辑;Apache-2.0 |
| Qwen-Image-2.1 | 7B 生成部分 | 32 层单流 DiT;条件编码器是 Qwen3-VL | 原生透明通道;最多 10 张参考图;许可 qwen-research |
| MiniMax H3-Base | 33B | 单流 Transformer,视频和音频联合生成;编码器用 Qwen3-VL-32B 第 50 层隐状态 | 768p、4–15 秒、24 FPS + 立体声;约 13B 参数在可预计算的 AdaLN 分支;CFG 蒸馏 |
视频的块稀疏注意力:视频 token 数 = 帧数 × 高 × 宽,几万到几十万个,全注意力太贵。VSA(arXiv 2505.13389)先把 token 分块、池化后挑出重要的块,再只在选中的块内做精细注意力,训练算力降 2.5 倍且无损。H3 称训练末期用了原生稀疏注意力,但首次开源只提供全注意力推理【官方】。
可以看到,语言模型的部件在生成模型里被大量复用:文本编码器直接用 Qwen3 / Qwen3-VL,主干是 Transformer,位置编码是 3D RoPE。
本章小结
- Qwen3.8-27B = 64 层,每 4 层里 3 层 Gated DeltaNet(固定大小的记忆矩阵)+ 1 层门控 GQA 注意力(精确检索),加上 SwiGLU FFN 和一个 MTP 草稿层。
- 同样头数与精度下,64 层中只有 16 层保存历史 K/V,随长度增长的部分是全注意力方案的 1/4,另外再算固定状态。这是形状给出的容量结论;报告中得分更高的是另一规模的 MoE 消融。
- Qwen3.5 到 3.8 的 27B 配置可以对照读;要说明某次训练为何提高分数,还需要控制变量的训练实验。
- Flash-Next 用 MoE(180B 总参、6B 激活)、QSA 稀疏注意力、门控残差、51B 的 n-gram 查表,代表了下一代的方向;它的推理难点在“怎样把约 76 GB 的量化权重按部件放到合适的存储层级上”(第 5 章)。
- 决策模型(h2o-lightning、JEV)回到了 BERT 式的“一次前向读概率”,只是分类头换成了 LLM 的输出头。
参考资料(本章)
一手资料
- Qwen3.8-27B 模型卡与 config:https://huggingface.co/Qwen/Qwen3.8-27B ,https://huggingface.co/Qwen/Qwen3.8-27B/raw/main/config.json
- Qwen3.8-Flash-Next 模型卡:https://huggingface.co/Qwen/Qwen3.8-Flash-Next
- Qwen3.8-Flash-Next 技术报告(最贴近本机模型的一手资料:GDN 公式、QSA、门控残差、n-gram 消融):https://github.com/QwenLM/Qwen3.8-Flash-Next/blob/main/tech_report.pdf
- llama.cpp PR #27742(Flash-Next 支持):https://github.com/ggml-org/llama.cpp/pull/27742
- JEV-27B:https://huggingface.co/autotrust/JEV-27B ;h2o-lightning-4b:https://huggingface.co/h2oai/h2o-lightning-4b
论文
- GQA:https://arxiv.org/abs/2305.13245 ;MQA:https://arxiv.org/abs/1911.02150
- RoPE:https://arxiv.org/abs/2104.09864 ;YaRN:https://arxiv.org/abs/2309.00071
- SwiGLU(GLU Variants):https://arxiv.org/abs/2002.05202
- Gated Attention:https://arxiv.org/abs/2505.06708
- DeltaNet(并行训练):https://arxiv.org/abs/2406.06484 ;Gated DeltaNet:https://arxiv.org/abs/2412.06464
- Mamba:https://arxiv.org/abs/2312.00752 ;Mamba-2:https://arxiv.org/abs/2405.21060(编号未经 API 核对)
- Kimi Linear(KDA):https://arxiv.org/abs/2510.26692
- MLA(DeepSeek-V2):https://arxiv.org/abs/2405.04434
- DeepSeekMoE:https://arxiv.org/abs/2401.06066 ;DeepSeek-V3:https://arxiv.org/abs/2412.19437
- 无辅助损失负载均衡:https://arxiv.org/abs/2408.15664
- MTP(Gloeckle 等):https://arxiv.org/abs/2404.19737
- Engram:https://arxiv.org/abs/2601.07372
- DeepSeek Sparse Attention:https://arxiv.org/abs/2512.02556
- REAP:https://arxiv.org/abs/2510.13999
- LoRA:https://arxiv.org/abs/2106.09685
- DiT:https://arxiv.org/abs/2212.09748 ;Flow Matching:https://arxiv.org/abs/2210.02747 ;Rectified Flow:https://arxiv.org/abs/2209.03003 ;DMD:https://arxiv.org/abs/2311.18828 ;VSA:https://arxiv.org/abs/2505.13389
图解 / 博客(适合先看)
- Songlin Yang(Gated DeltaNet 一作),DeltaNet Explained:https://sustcsonglin.github.io/blog/2024/deltanet-1/ —— 线性注意力和 delta 规则最友好的入口
- Sebastian Raschka,The Big LLM Architecture Comparison:https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison
- EleutherAI,Rotary Embeddings: A Relative Revolution:https://blog.eleuther.ai/rotary-embeddings/
- Hugging Face,Mixture of Experts Explained:https://huggingface.co/blog/moe
- Lilian Weng,What are Diffusion Models?:https://lilianweng.github.io/posts/2021-07-11-diffusion-models/
本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。