跳至内容
第 2 章 本机模型的架构拆解:Qwen3.8-27B、Flash-Next 和它们的“亲戚”

第 2 章 本机模型的架构拆解:Qwen3.8-27B、Flash-Next 和它们的“亲戚”

所属专题:本地大模型架构与推理框架详解

第 1 章讲了从 BERT 到现代大模型的通用改动。这一章把本机实际在跑的模型一层一层拆开: 每个矩阵多大、为什么这样设计、对显存和速度有什么影响。

来源标记:【官方】= 模型卡 / config.json / 技术报告;【文件头】= 用 gguf-py 读本机 GGUF 得到;【论文】;【社区】;【推算】= 根据官方数字算的;【推断】= 我的理解,没有直接出处。


2.1 怎么读一个模型的“规格”

拿到一个新模型,看两个地方就能知道它的结构:

  1. Hugging Face 上的 config.json:层数(num_hidden_layers)、隐藏维度(hidden_size)、头数(num_attention_heads、num_key_value_heads)、FFN 维度(intermediate_size)、词表(vocab_size)、上下文(max_position_embeddings),以及各种架构开关(layer_types、full_attention_interval、num_experts 等)。
  2. GGUF 文件头:llama.cpp 转换时把这些参数写进了文件,每个张量的名字、形状、量化类型也都在里面。

在装有 llama.cpp 所附 gguf-py、能够导入 gguf 的 Python 环境里,读头只需要模型文件名:

from gguf import GGUFReader
r = GGUFReader('Qwen3.8-27B-UD-Q6_K.gguf')
for k, f in r.fields.items(): print(k, f.contents())     # 超参数
for t in r.tensors: print(t.name, t.tensor_type.name, t.shape)   # 每个张量

本章的表格大部分就是这么读出来再和官方 config 对照的。


2.2 Qwen3.8-27B:总览

2.2.1 规格表

项值来源
类型因果语言模型 + 视觉编码器;稠密(不是 MoE)【官方】
GGUF 架构名qwen35(和 Qwen3.5 共用实现)【文件头】
参数27.32B(语言部分,含 MTP 层);HF 页面显示约 28B,是因为算上了视觉塔【文件头】【官方】
层数64 层主干 + 1 层 MTP(GGUF 里 block_count = 65)【文件头】
布局16 × (3 × Gated DeltaNet 层 + 1 × Gated Attention 层),全注意力层是第 3、7、11 … 63 层【官方】【文件头】
隐藏维度5120
FFNSwiGLU,中间维度 17,408
全注意力层24 个 Q 头、4 个 KV 头(GQA 6:1),每头 256 维;只有 64 维做 RoPE;输出带门控【官方】【文件头】
DeltaNet 层16 个 key 头 × 128、48 个 value 头 × 128,状态 128 × 128,短卷积核 4【文件头】
位置编码RoPE,底数 1e7,M-RoPE 分段 [11, 11, 10](时间 / 高 / 宽)【文件头】
词表248,320;输入嵌入和输出头不共享权重,各 1.27B 参数【官方】【文件头】
上下文原生 262,144,官方称可扩展到 100 万【官方】
视觉27 层 ViT,宽 1152,patch 16,支持图片和视频【官方】
许可Apache-2.0【官方】

2.2.2 一张图看懂整体结构

输入 token ──► 词嵌入 token_embd (248320 × 5120)
                │
                ▼
  ┌──────────── 重复 16 次 ────────────┐
  │  层 4k+0 : RMSNorm → Gated DeltaNet → 残差 → RMSNorm → SwiGLU FFN → 残差
  │  层 4k+1 : RMSNorm → Gated DeltaNet → 残差 → RMSNorm → SwiGLU FFN → 残差
  │  层 4k+2 : RMSNorm → Gated DeltaNet → 残差 → RMSNorm → SwiGLU FFN → 残差
  │  层 4k+3 : RMSNorm → Gated Attention → 残差 → RMSNorm → SwiGLU FFN → 残差
  └────────────────────────────────────┘
                │
                ▼
            RMSNorm → 输出头 output (5120 → 248320) → 下一个 token 的概率
                │
                └──► MTP 层 blk.64(推测解码时才用,猜第 2 个 token)

和 BERT-base 对比:

BERT-baseQwen3.8-27B
层数1264
隐藏维度7685120
每层的“混合 token”的模块全部是双向 softmax 注意力48 层线性注意力(DeltaNet)+ 16 层因果 softmax 注意力
FFN768 → 3072 → 768,GELU5120 → 17408 → 5120,SwiGLU(3 个矩阵)
归一化Post-LN(LayerNorm)Pre-norm(RMSNorm)
位置512 个可学习的绝对位置RoPE,原生 262,144
词表30,522(WordPiece)248,320(字节级 BPE)
参数1.1 亿273 亿

2.2.3 参数都花在哪里

用 GGUF 里的张量形状逐个算【文件头 + 推算】:

部分每层参数层数合计
SwiGLU FFN(gate、up、down 三个 5120 × 17408)267.4M6417.11B(63%)
DeltaNet 的混合模块(qkv 投影 5120 × 10240、输出门 5120 × 6144、输出 6144 × 5120、α/β 投影等)约 115.6M485.55B(20%)
全注意力模块(Q+门 5120 × 12288、K 和 V 各 5120 × 1024、输出 6144 × 5120)约 104.9M161.68B(6%)
词嵌入1.27B
输出头1.27B
MTP 层(一层完整 Transformer + 拼接投影)约 0.44B
合计≈ 27.3B

两个观察:

  • FFN 占了将近三分之二的参数。这也是为什么 MoE 都是把 FFN 换成专家(2.5.2 节),以及量化时 FFN 的位数分配对文件大小影响最大(第 3 章)。
  • 词表 24.8 万,嵌入和输出头加起来 2.54B,接近一个小模型的大小。词表大的好处是中文、代码切出来的 token 更少;坏处是输出头每个 token 都要完整算一遍(嵌入只是查一行,见第 3 章 3.3.3 节)。

2.3 逐个模块拆开

2.3.1 全注意力层:GQA + 门控 + 部分 RoPE + QK-Norm

GGUF 里第 3 层(全注意力层)的张量【文件头】:

blk.3.attn_q.weight        5120 × 12288   ← 24 头 × 256 维 = 6144 的 Q,再加 6144 的“输出门”
blk.3.attn_k.weight        5120 × 1024    ← 4 个 KV 头 × 256
blk.3.attn_v.weight        5120 × 1024
blk.3.attn_q_norm.weight   256            ← 每个头的 Q 先做 RMSNorm(QK-Norm)
blk.3.attn_k_norm.weight   256
blk.3.attn_output.weight   6144 × 5120

逐条解释:

(1) GQA:24 个 Q 头共用 4 组 K/V。 BERT 的每个头都有自己的 K、V。这里每 6 个 Q 头共享一组。K/V 少了 6 倍,KV 缓存就小 6 倍。质量损失很小,因为不同头的 K/V 本来就高度相关【论文,GQA arXiv 2305.13245】。

(2) 每头 256 维,比常见的 128 大一倍。【推断】头少、每头宽,在 KV 头只有 4 个时能保住每个头的表达力。

(3) 部分 RoPE:256 维里只有 64 维做旋转(partial_rotary_factor = 0.25)。另外 192 维不带位置信息,只看内容。【推断】这样一部分维度专门做“按内容检索”,不受距离影响,对长上下文的远距离检索有利。RoPE 底数 1e7(Qwen3 是 1e6),底数越大,旋转越慢,能区分的距离越远。

(4) M-RoPE [11, 11, 10]:64 维旋转维度(32 对)分成三段,分别编码时间、图像的行、列。纯文本时三段用同一个位置,等价于普通 RoPE;图片和视频 token 才有不同的行列坐标。

(5) QK-Norm:Q 和 K 在算点积前各自做 RMSNorm。防止训练中注意力分数爆炸(logit 太大导致 softmax 饱和),是近两年大模型训练稳定性的标配。

(6) 门控注意力(Gated Attention):attn_q 输出 12288 维,一半是 Q,另一半是“门”。注意力的结果在送进 attn_output 前,逐元素乘上 sigmoid(门):

o = Attention(Q, K, V)            # 普通的 softmax 注意力
o = o ⊙ σ(W_gate · x)             # 由当前 token 决定每一维放行多少
y = W_o · o

Qwen 团队的论文(arXiv 2505.06708)发现这个小改动有三个好处:增加了非线性;让输出更稀疏;消除了“注意力汇点”(attention sink),即模型被迫把大量注意力分给第一个 token 的现象。后者对长上下文和量化都有好处,因为汇点会制造激活里的离群值(第 3 章 3.4 节)【论文】。

2.3.2 Gated DeltaNet 层:用固定大小的“记忆矩阵”代替 KV 缓存

这是 Qwen3.5 / 3.8 和 BERT 差别最大的地方,值得细讲。

先回顾 softmax 注意力的问题:第 t 个 token 要和前面所有 t 个 token 算相似度,KV 缓存随长度线性增长,计算量随长度平方增长。

线性注意力的思路:去掉 softmax,注意力可以改写成

输出_t = Σ_i (q_t · k_i) v_i = q_t · (Σ_i k_i v_iᵀ) = q_t · S_t

其中 S_t = Σ_i k_i v_iᵀ 是一个 d_k × d_v 的矩阵(这里是 128 × 128),每来一个新 token 就加上 k_t v_tᵀ。不管上下文多长,状态都是一个固定大小的矩阵,每一步的计算量和显存都是常数。

可以把 S 想成一块“快速记忆”:用 key 当地址写入 value,查询时用 q 去读。

问题:只加不减,记忆会塞满、互相干扰。同一个 key 写两次,两个 value 会叠在一起。

DeltaNet 的改进(delta 规则)【论文,arXiv 2406.06484】:写入前先用 k_t 读一下“这个地址现在存着什么”,只写入差值:

旧值   = S_{t-1}ᵀ k_t                       # 这个地址现在存着什么
S_t    = S_{t-1} + β_t · k_t (v_t − 旧值)ᵀ    # 只写入“新值 − 旧值”,β_t 是写入强度

这和经典的 delta 学习规则(Widrow-Hoff,最小均方误差在线学习)一模一样:S 是一个线性回归器,每个 token 做一步梯度下降,让 S 记住“k_t → v_t”这个映射。同一个 key 再来一次,就是改写而不是叠加。

Gated DeltaNet 再加一个遗忘门 α_t【论文,arXiv 2412.06464】:

S_t = α_t · (I − β_t k_t k_tᵀ) S_{t-1} + β_t k_t v_tᵀ

α_t ∈ (0, 1) 由当前 token 决定,每一步把整个记忆衰减一点。遇到话题切换、新段落,模型可以选择大幅遗忘。delta 规则负责“精确改写”,门控负责“整体清理”,两者互补。

对应到 GGUF 张量(第 0 层)【文件头】:

blk.0.attn_qkv.weight      5120 × 10240   ← q (16×128) + k (16×128) + v (48×128) 拼在一起
blk.0.ssm_conv1d.weight    4 × 10240      ← 对 q、k、v 做核长 4 的因果短卷积
blk.0.ssm_alpha.weight     5120 × 48      ← 每个 value 头一个遗忘门 α
blk.0.ssm_beta.weight      5120 × 48      ← 每个 value 头一个写入强度 β
blk.0.ssm_a                48             ← 遗忘门的可学习基础衰减率
blk.0.ssm_dt.bias          48             ← 遗忘门的偏置
blk.0.ssm_norm.weight      128            ← 输出前的归一化
blk.0.attn_gate.weight     5120 × 6144    ← 输出门(和全注意力层的门同理)
blk.0.ssm_out.weight       6144 × 5120    ← 输出投影

几个细节:

  • 16 个 key 头、48 个 value 头:每个 key 头服务 3 个 value 头,和 GQA 一个思路。状态一共 48 个 128 × 128 的矩阵。
  • 短卷积(核长 4):在送进 DeltaNet 前,q/k/v 先和前 3 个 token 做一次局部混合。线性注意力不擅长“看相邻几个词”这种局部模式,短卷积专门补这一块。这也是 GGUF 里叫 ssm_(状态空间模型)的原因,这套写法来自 Mamba。
  • 遗忘门的计算【源码 / 推断】:参考 Hugging Face 的 Qwen3-Next 实现,大致是 g = −exp(A) · softplus(W_α x + dt_bias),α = exp(g)。这是 Mamba-2 的写法,保证 α 在 0 和 1 之间。
  • 状态用 FP32 存(mamba_ssm_dtype = float32)【官方】。状态在整个序列上不断累积,低精度误差会滚雪球。这和第 3 章“ssm_alpha/beta 两家量化都给高精度”是同一个原因。
  • q、k 做 L2 归一化,输出门用 sigmoid【官方技术报告】。

训练时怎么并行? 上面的公式看起来是一个 token 一个 token 地串行更新,GPU 上很慢。实际训练和预填充用“分块并行”算法(chunkwise,WY 表示):把序列切成 64 个 token 一块,块内用矩阵乘并行算,块之间才串行传递状态。这就是为什么 llama.cpp 和 vLLM 需要专门的 DeltaNet 内核(第 5 章)。

状态有多大【推算】:每层 48 × 128 × 128 × 4 字节 = 3 MiB,48 层合计约 144 MiB,和上下文长度无关。另外每层还有一个卷积缓存(3 个 token × 10240 维),很小。

2.3.3 为什么是 3 : 1 混合

纯线性注意力的致命弱点:状态大小固定,记忆总会有损。让它从 10 万字里一字不差地找回一个电话号码,固定大小的矩阵做不到。softmax 注意力保留了每个 token 的 K/V,可以精确检索。

所以 Qwen 的做法是每 4 层里 3 层用 DeltaNet 做“压缩式记忆”,1 层用全注意力做“精确查找”【官方技术报告】。Qwen 在 Flash-Next 技术报告里做了对照实验(25B-A3B 的 MoE,4000 亿 + 800 亿 token)【官方】:

结构9 项基准平均
全部 softmax 注意力49.87
3:1 滑动窗口(窗口 128)混合51.15
3:1 Gated DeltaNet 混合53.81

53.81 对 49.87 是这组 25B-A3B MoE 架构消融的九项平均,不是把下表这台机器上的稠密 27B 换成全注意力又测了一次。

对显存的意义(bf16 KV,每 token)【推算】:

模型有 KV 的层每 token KV262K 上下文
Qwen3-32B(64 层全 GQA,8 KV 头 × 128)64256 KiB64 GiB
Qwen3.8-27B(16 层,4 KV 头 × 256)1664 KiB16 GiB + 144 MiB 状态
Qwen3.8-Flash-Next(12 层 QSA,2 KV 头 × 256)1224 KiB6 GiB

本机用 q8_0 KV 时再减半,131K 上下文只占约 4.3 GiB。这就是 32 GB 的 R9700 能跑 Q6_K + 131K 上下文的原因。

对速度的意义:生成时每步要读的 KV 少了 4 倍,长上下文后的掉速也少很多(第 3 章 3.3.3 节:在 rdna-boosts 不开推测的 27B 配置上,43K 提示后从 24.7 到 23.0 tok/s,约低 7%;开启 MTP 的对照见第 7 章 7.1.4 节)。

2.3.4 SwiGLU FFN

FFN(x) = W_down · ( SiLU(W_gate · x) ⊙ (W_up · x) )

BERT 的 FFN 是 W2 · GELU(W1 · x),两个矩阵。SwiGLU 多一个“门”矩阵,一路过激活函数当门,一路当值,逐元素相乘【论文,arXiv 2002.05202】。为保持参数量,中间维度通常取 8/3 倍隐藏维度,这里 17408 / 5120 = 3.4 倍。

FFN 通常被认为是模型存“知识”的地方(每一行 W_up 像一个“模式检测器”,W_down 对应的列是“检测到之后往残差里写什么”)。第 3 章提到“知识题对量化最敏感”,和这个有关【推断】。

2.3.5 MTP 层:模型自带的“草稿员”

GGUF 里的第 65 层 blk.64 是 MTP(multi-token prediction,多 token 预测)层【文件头】:

blk.64.nextn.eh_proj        10240 → 5120  ← 把“第 t+1 个 token 的嵌入”和“第 t 个位置的隐状态”拼接后压回 5120
blk.64.nextn.enorm / hnorm                ← 拼接前分别归一化
blk.64.*                                  ← 一层完整的 Transformer(注意力 + FFN)
blk.64.nextn.shared_head_norm             ← 然后共用主模型的输出头

工作方式:主模型算完位置 t、得到隐状态 h_t,并预测出 token_{t+1};MTP 层拿 h_t 和 token_{t+1} 的嵌入,再过一层,预测 token_{t+2}。还可以接着用自己的输出再预测 t+3……

训练时它是“额外的监督信号”(同一段文本多学一点“往后看两步”);推理时它是推测解码的草稿模型:先便宜地猜几个 token,再让主模型一次性验证(第 6 章)。本机开 MTP 后代码生成从约 25 tok/s 提到 63 tok/s,靠的就是它。

官方卡片说它“用多步训练”:权重只有 1 层,但训练时连续展开预测好几步,所以推理时连猜 3 个 token 也有不错的接受率(本机 0.63–0.66)【官方 + 本机实测】。

2.3.6 视觉部分

一个 27 层的 ViT(宽 1152、16 头),把图片切成 16 × 16 的块,相邻 2 × 2 块合并成 1 个 token,再投影到 5120 维,和文本 token 拼在一起送进语言模型;视频还会把相邻 2 帧合并【官方】。llama.cpp 里视觉塔是单独的 mmproj 文件。本机目前只用文本,视觉部分不展开。


2.4 同一副骨架,不同的训练:Qwen 的谱系

世代时间结构上的变化
Qwen3(如 32B)2025-04纯稠密,64 层全 GQA 注意力;词表 151,936;原生 40,960 上下文
Qwen3-Next-80B-A3B2025-09第一次引入 3:1 Gated DeltaNet + 门控注意力;MoE 512 专家;262K 上下文;MTP
Qwen3.5(含 27B 稠密版)2026-02原生多模态;词表扩到 248,320(覆盖约 200 种语言);27B 的结构和 3.8 完全一样
Qwen3.62026-04结构不变;后训练强化代理编程、前端;新增“思考保留”
Qwen3.8-27B2026-08结构不变;强化代码、专业工作、长程代理;reasoning_effort 分档
Qwen3.8-Flash-Next2026-08“Qwen4 架构预览”:稀疏注意力 QSA、门控残差、n-gram 嵌入表、Muon 优化器

【官方 config】三代 27B 的 config 逐项对比,结构参数一字不差。时间来自聚合站,官方卡片没写日期【社区】。

对得上的层数、维度和布局,说明几个版本能用同一张结构图来读。配置文件不记录训练数据或各阶段对分数的贡献,不能凭它把增益归给某轮后训练。第 4 章还要分清改过权重、只改模板和重新量化三种情况。

2.4.1 思考开关和推荐采样【官方】

Qwen3.8 默认开启“思考”(先在 <think> 里写推理过程,再给答案)。

  • 关闭:请求里加 chat_template_kwargs: {"enable_thinking": false}。
  • reasoning_effort:xhigh(默认)/ medium / low,控制思考长度。
  • preserve_thinking:默认保留多轮对话里历史消息的思考块。
temperaturetop_ptop_kmin_ppresence_penalty
思考模式1.00.952000
非思考模式0.70.802001.5

为什么思考模式要用温度 1.0 而不是 0(贪心):长推理在贪心解码下容易陷入重复循环。本机实测 Flash-Next 在温度 0 下 IFEval 只有 85.0,推荐设置下是 96.0(第 7 章)。


2.5 Qwen3.8-Flash-Next:MoE + 稀疏注意力 + n-gram 表

2.5.1 规格【官方】

项值
参数125B(主干 + 全部专家)+ 51B n-gram 嵌入表 + 4B MTP ≈ 180B;每个 token 只激活约 6B
GGUF 架构名qwen4exp
层数 / 隐藏维度48 层,2560
布局12 × (3 × Gated DeltaNet + 1 × QSA),每一层的 FFN 都是 MoE
MoE512 个路由专家,每个 token 选 10 个 + 1 个共享专家;每个专家中间维度只有 640
QSA 层24 Q 头、2 KV 头、每头 256;索引器预算 2048 个 token
门控残差残差流加宽为 4 路
n-gram 表只在第 2 层;按二元组、三元组哈希查表
上下文原生 262,144,可扩到 100 万
许可qwen-community-1.0(不是 Apache)

官方称:和 Qwen3.5-397B-A17B 相比,用 1/3 的激活参数、1/3 的训练 token、约 1/9 的训练算力,14 个预训练基准里 8 个领先,其余最多落后 2.6 分【官方,自报】。

2.5.2 MoE:总参数和计算量脱钩

第 1 章介绍过 MoE。在 Flash-Next 里:

每一层的 FFN =
    共享专家(每个 token 都过)
  + 路由器打分 512 个专家 → 选 top-10 → 10 个专家的输出按分数加权求和

每个专家是一个小 SwiGLU(2560 → 640 → 2560,约 490 万参数)。每个 token 每层选中 512 个路由专家中的 10 个(约 2%),另外总会经过 1 个共享专家。

对推理的意义【推断 + 本机实测】:

  • 显存:所有专家都得放得下。3 位量化后仍有约 76 GB,单卡装不下,要把专家分散到显存、内存(本机 Strata 引擎就是干这个的,第 5 章)。
  • 速度:每个 token 只读激活的那 6B 参数,3 位下约 2.5 GB,所以生成可以比 27B 稠密模型还快。本机 Strata 跑 Flash-Next 达到 112.7 tok/s(代码),27B 是 63–70 tok/s。
  • 批处理变差:并发多个请求时,不同 token 选的专家不同,要读的专家总量随批大小增长,MoE 的批处理收益不如稠密模型。

细粒度专家 + 共享专家(DeepSeekMoE 的思路,arXiv 2401.06066):专家切得小而多,组合方式就多(512 选 10 的组合数是天文数字),每个专家更专精;共享专家承担所有 token 都需要的通用知识,避免每个路由专家都重复学一遍。

2.5.3 QSA:块级稀疏注意力

全注意力层每个 token 要看全部历史。QSA(Qwen Sparse Attention)先用一个便宜的“索引器”给历史打分,只挑最相关的 2048 个 token 做真正的注意力【官方技术报告】:

  • 索引器是一个很小的 MQA(4 个 query 头、1 个 key 头,每头 128 维),而且先把 key 按 4 个一组池化,打分成本降到原来的 1/4;
  • 按小块(micro-block)选,而不是逐个 token 选,对 GPU 更友好;
  • 路线来自 DeepSeek Sparse Attention(DSA)。

上下文不超过 2048 时,QSA 和稠密注意力结果完全一样;超过以后才开始挑选。llama.cpp 的实现验证:WikiText-2 困惑度 4.0068,参考实现 4.0126;超出预算后约 3% 的位置和稠密注意力结果不同【官方,PR #27742】。官方称在 100 万上下文时,注意力内核预填充快 7.6 倍、生成快 4.9 倍。

有意思的是,预训练时用的是全注意力,继续预训练阶段才换成 QSA。

2.5.4 门控残差(Gated Residual):为了训练稳定

传统残差:x ← x + 子层(x),只有一条主干。门控残差把主干加宽成 4 路,每个子层读的时候用数据相关的 sigmoid 门决定从每路读多少,写的时候每路有一个标量门【官方技术报告】。思路来自 Hyper-Connections / mHC,但去掉了路之间的混合矩阵以降低开销。

它的主要作用是训练稳定:在 4 倍最优学习率的压力测试下,旧结构频繁出现 loss 尖峰,新结构全程平稳;正式训练“一次 loss 尖峰都没有”。对推理来说,它让残差流变成 4 倍宽,多了一点显存和计算。

2.5.5 n-gram 嵌入表:查表式的“记忆”

这是 Flash-Next 最特别的部分。

是什么:一张巨大的嵌入表,用“以当前 token 结尾的二元组、三元组”做哈希来索引。比如当前 token 是“网”,前面是“有色”,就用“色网”和“有色网”分别哈希,查出向量,加到第 2 层的隐状态上【官方技术报告 + config】。

规模【推算,和官方吻合】:二元、三元两种 × 每种 8 个哈希函数 × 2000 万个桶 = 3.2 亿行,每行 160 维,合计约 512 亿参数,与官方的 51B 口径相符。按这些取整后的行数估算,bf16 每个参数 2 字节,约 102.4 GB(95.4 GiB)。

为什么有用:语言里大量“固定搭配”(人名、术语、成语、代码里的固定写法)靠查表就能记住,不需要占用 MoE 专家的计算。Qwen 的实验里,表越大损失越低,中文基准(C-Eval、CMMLU)提升明显;但在总参数固定时拿专家换表并不划算,所以他们保持专家不变、额外加表【官方】。

为什么推理时便宜:

  • 每个 token 只查 16 行(2 种 × 8 个哈希),读几 KB,几乎不占带宽;
  • 地址在看到 token 时就确定了(不像 MoE 要先算路由),所以表可以放在内存甚至硬盘里,提前预取;
  • 只放在第 2 层,就是为了让“从内存取数据”和第 1 层的计算重叠。

这个思路和 DeepSeek 2026 年初的 Engram 论文(arXiv 2601.07372)同源,也借鉴了 Gemma 3n 的“逐层嵌入”(PLE)。llama.cpp 里 GGUF 张量名就叫 per_layer_token_embd。

对本机的意义:约 51B 的查表参数可以放在内存里,约 125B 的主干和专家要按访问频率安排位置。若启用草稿预测,还要计入约 4B 的 MTP 权重。

2.5.6 训练上的改动(了解即可)

  • 优化器:二维权重矩阵用 Muon(对梯度做 Newton–Schulz 正交化),嵌入、输出头、路由器用 AdamW。
  • 全模型统一使用零中心 RMSNorm。
  • 全注意力层保留 RoPE:去掉位置编码(NoPE)预训练没区别,但后训练后“生成停不下来”的概率显著升高。

2.6 决策模型:h2o-lightning-4b 和 JEV-27B

这两个模型不是用来聊天的,而是用来做分类和打分。有意思的是,它们用的方法和 BERT 时代的“分类头”非常像。

2.6.1 共同思路:一次前向,读选项概率

BERT 做分类:在 [CLS] 上接一个线性层 + softmax。

现代 LLM 的做法:把问题和选项写进提示词,让每个选项对应一个单 token 的标签(比如 A/B/C 或 yes/no),只跑一次前向,直接读“答案位置”上这些标签 token 的概率,不生成任何文字。成本只有输入 token 的预填充,没有生成。再经过校准,得到可信的概率分布。

2.6.2 h2o-lightning-4b【官方】

  • 基座 Qwen3.5-4B(32 层、隐藏 2560,同样的 3:1 DeltaNet 混合结构);Apache-2.0;
  • 支持三种题型:choice(选项)、noul(是/否,给出为真的概率)、score(0–5 分及分布);
  • 跑在未修改的 vLLM 上,用 pooling 模式取最后一个位置的 logits(fp32),外面套一个小的服务层;
  • v1.3 起可以选择对提示词使用双向注意力(像 BERT 那样“读”),官方推荐默认开启;
  • 自报 JevBench 开放权重榜第一(72.5);RTX 5090 上单次约 29 ms。

具体是全参微调还是 LoRA,卡片没有写清楚【未核实】。

2.6.3 JEV-27B【官方 + 服务器上的文件】

  • 基座 Qwen3.8-27B 完全冻结;
  • 加一个可拆卸的“System 1”模块:LoRA r = 16(作用于解码器的投影层,约 1.088 亿参数)+ 24 个槽位的 fp32 决策头(用 lm_head 的对应行初始化,约 12.3 万参数);合计约占总参数的 0.4%;
  • LoRA 开着时是“快速决策器”,关掉时就是原版 Qwen3.8-27B(官方说 164 条 HumanEval 补全和基座逐字节一致);
  • 训练:向闭源的 TypeSafe Jev 1.13 蒸馏;损失 = KL + 0.5 × RPS(ranked probability score,对有序打分的惩罚),再做温度校准;自报 ECE 0.0009。

注意:服务器 README 里写的 “r32” 是错的,adapter_config.json 里实际是 r = 16。

LoRA 的原理在第 4 章细讲:冻结原权重 W,只训练一个低秩增量 ΔW = B × A(A 是 r × k,B 是 d × r,r 很小),可以合并回 W,也可以作为开关随时挂载。


2.7 其他架构对照(社区常拿来比的)

Qwen3.8-27BQwen3.8-Flash-NextGLM-5.3-FlashDeepSeek-V4-Flash
总参数 / 激活27B 稠密约 180B(125B 主干与专家、51B 表、4B MTP)/ 约 6B320B / 18B284B / 13B
层数64484543
线性层48 × Gated DeltaNet36 × Gated DeltaNet34 × KDA无
精确注意力层16 × 门控 GQA12 × QSA 稀疏11 × 稀疏 MLA全部:压缩 + 稀疏注意力(CSA / HCA)
KV 头42MLA 低秩潜向量1(每头 512 维)
MoE无512 专家选 10 + 1 共享288 选 8 + 1 共享256 选 6 + 1 共享
MTP1 层1 层1 层1 层
上下文262K262K1M1M
许可Apache-2.0qwen-communityMITMIT

【官方 config】

几个名词:

  • KDA(Kimi Delta Attention):Moonshot 的 Kimi Linear 提出,在 Gated DeltaNet 基础上把遗忘门从“每个头一个数”细化到“每个通道一个数”【论文,arXiv 2510.26692】。
  • MLA(多头潜在注意力):DeepSeek-V2 提出,把 K/V 压成一个低秩向量缓存,用的时候再展开,KV 缓存比 GQA 还小【论文,arXiv 2405.04434】。
  • REAP:Cerebras 的专家剪枝方法【论文,arXiv 2510.13999】。用“路由分数 × 专家输出大小”给每个专家打分,直接删掉最不重要的一批,不再训练。社区的“GLM-xxx-REAP”版本就是这么来的。注意 REAP 只减少总参数(显存),不减少每个 token 的计算量。

大趋势:所有新模型都走向“大部分层用线性 / 压缩 / 稀疏注意力,少数层保留精确注意力”和“MoE + 共享专家”,同时都带 MTP 草稿头。这几件事对推理引擎提出了新要求(第 5 章)。


2.8 附:本机的图像 / 视频生成模型(ComfyUI)

服务器上的 ComfyUI 跑的是另一类模型。它们和语言模型共享 Transformer 的部件,但工作方式完全不同。

2.8.1 扩散、流匹配和 DiT

  • 扩散模型(DDPM,arXiv 2006.11239):训练时往图片里逐步加噪声,网络学习预测噪声;生成时从纯噪声出发,几十步逐步去噪。
  • 流匹配 / 整流(Flow Matching arXiv 2210.02747、Rectified Flow arXiv 2209.03003):学习一个“速度场”,让噪声沿近似直线走到图片,生成时用 Euler 法走若干步。目标更简单、路径更直,更容易压到少步。本机这几个模型都用 FlowMatchEulerDiscreteScheduler【官方】。
  • DiT(Diffusion Transformer,arXiv 2212.09748):用 Transformer 代替 U-Net 做去噪网络。对 BERT 读者来说,DiT 就是一个没有因果掩码的 Transformer,输入是 VAE 压缩后图片的小块(patch token)加上文本 token。
  • 单流 vs 双流:双流(如 SD3 的 MMDiT)文本和图像各有一套权重,只在注意力里拼接;单流则把文本和图像 token 拼成一条序列,共用一套权重。

2.8.2 “Turbo”、蒸馏、少步

原版模型通常要 30–50 步,每步还要做 CFG(classifier-free guidance:有条件、无条件各算一次再外推),即每步 2 次前向。Turbo / 蒸馏版用分布匹配蒸馏(DMD,arXiv 2311.18828)或一致性模型(LCM,arXiv 2310.04378)把轨迹压缩到 1–8 步,同时把 CFG 的效果“烘焙”进权重,每步只需 1 次前向。代价是生成多样性下降。“few-step LoRA”就是把这种蒸馏结果存成 LoRA,挂到原模型上。

2.8.3 本机的几个模型【官方】

模型规模结构特点
Z-Image-Turbo(通义)6B单流 DiT(S3-DiT);文本编码器是 Qwen3蒸馏 8 步、不用 CFG;Apache-2.0
FLUX.2 [klein] 4B(BFL)4B整流 Transformer;文本编码器是 Qwen3蒸馏版;文生图 + 多图编辑;Apache-2.0
Qwen-Image-2.17B 生成部分32 层单流 DiT;条件编码器是 Qwen3-VL原生透明通道;最多 10 张参考图;许可 qwen-research
MiniMax H3-Base33B单流 Transformer,视频和音频联合生成;编码器用 Qwen3-VL-32B 第 50 层隐状态768p、4–15 秒、24 FPS + 立体声;约 13B 参数在可预计算的 AdaLN 分支;CFG 蒸馏

视频的块稀疏注意力:视频 token 数 = 帧数 × 高 × 宽,几万到几十万个,全注意力太贵。VSA(arXiv 2505.13389)先把 token 分块、池化后挑出重要的块,再只在选中的块内做精细注意力,训练算力降 2.5 倍且无损。H3 称训练末期用了原生稀疏注意力,但首次开源只提供全注意力推理【官方】。

可以看到,语言模型的部件在生成模型里被大量复用:文本编码器直接用 Qwen3 / Qwen3-VL,主干是 Transformer,位置编码是 3D RoPE。


本章小结

  1. Qwen3.8-27B = 64 层,每 4 层里 3 层 Gated DeltaNet(固定大小的记忆矩阵)+ 1 层门控 GQA 注意力(精确检索),加上 SwiGLU FFN 和一个 MTP 草稿层。
  2. 同样头数与精度下,64 层中只有 16 层保存历史 K/V,随长度增长的部分是全注意力方案的 1/4,另外再算固定状态。这是形状给出的容量结论;报告中得分更高的是另一规模的 MoE 消融。
  3. Qwen3.5 到 3.8 的 27B 配置可以对照读;要说明某次训练为何提高分数,还需要控制变量的训练实验。
  4. Flash-Next 用 MoE(180B 总参、6B 激活)、QSA 稀疏注意力、门控残差、51B 的 n-gram 查表,代表了下一代的方向;它的推理难点在“怎样把约 76 GB 的量化权重按部件放到合适的存储层级上”(第 5 章)。
  5. 决策模型(h2o-lightning、JEV)回到了 BERT 式的“一次前向读概率”,只是分类头换成了 LLM 的输出头。

参考资料(本章)

一手资料

  • Qwen3.8-27B 模型卡与 config:https://huggingface.co/Qwen/Qwen3.8-27B ,https://huggingface.co/Qwen/Qwen3.8-27B/raw/main/config.json
  • Qwen3.8-Flash-Next 模型卡:https://huggingface.co/Qwen/Qwen3.8-Flash-Next
  • Qwen3.8-Flash-Next 技术报告(最贴近本机模型的一手资料:GDN 公式、QSA、门控残差、n-gram 消融):https://github.com/QwenLM/Qwen3.8-Flash-Next/blob/main/tech_report.pdf
  • llama.cpp PR #27742(Flash-Next 支持):https://github.com/ggml-org/llama.cpp/pull/27742
  • JEV-27B:https://huggingface.co/autotrust/JEV-27B ;h2o-lightning-4b:https://huggingface.co/h2oai/h2o-lightning-4b

论文

  • GQA:https://arxiv.org/abs/2305.13245 ;MQA:https://arxiv.org/abs/1911.02150
  • RoPE:https://arxiv.org/abs/2104.09864 ;YaRN:https://arxiv.org/abs/2309.00071
  • SwiGLU(GLU Variants):https://arxiv.org/abs/2002.05202
  • Gated Attention:https://arxiv.org/abs/2505.06708
  • DeltaNet(并行训练):https://arxiv.org/abs/2406.06484 ;Gated DeltaNet:https://arxiv.org/abs/2412.06464
  • Mamba:https://arxiv.org/abs/2312.00752 ;Mamba-2:https://arxiv.org/abs/2405.21060(编号未经 API 核对)
  • Kimi Linear(KDA):https://arxiv.org/abs/2510.26692
  • MLA(DeepSeek-V2):https://arxiv.org/abs/2405.04434
  • DeepSeekMoE:https://arxiv.org/abs/2401.06066 ;DeepSeek-V3:https://arxiv.org/abs/2412.19437
  • 无辅助损失负载均衡:https://arxiv.org/abs/2408.15664
  • MTP(Gloeckle 等):https://arxiv.org/abs/2404.19737
  • Engram:https://arxiv.org/abs/2601.07372
  • DeepSeek Sparse Attention:https://arxiv.org/abs/2512.02556
  • REAP:https://arxiv.org/abs/2510.13999
  • LoRA:https://arxiv.org/abs/2106.09685
  • DiT:https://arxiv.org/abs/2212.09748 ;Flow Matching:https://arxiv.org/abs/2210.02747 ;Rectified Flow:https://arxiv.org/abs/2209.03003 ;DMD:https://arxiv.org/abs/2311.18828 ;VSA:https://arxiv.org/abs/2505.13389

图解 / 博客(适合先看)

  • Songlin Yang(Gated DeltaNet 一作),DeltaNet Explained:https://sustcsonglin.github.io/blog/2024/deltanet-1/ —— 线性注意力和 delta 规则最友好的入口
  • Sebastian Raschka,The Big LLM Architecture Comparison:https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison
  • EleutherAI,Rotary Embeddings: A Relative Revolution:https://blog.eleuther.ai/rotary-embeddings/
  • Hugging Face,Mixture of Experts Explained:https://huggingface.co/blog/moe
  • Lilian Weng,What are Diffusion Models?:https://lilianweng.github.io/posts/2021-07-11-diffusion-models/

本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。

最后更新于