跳至内容
第 1 章 从 BERT 到今天的大模型:哪些东西变了

第 1 章 从 BERT 到今天的大模型:哪些东西变了

所属专题:本地大模型架构与推理框架详解

这一章把你熟悉的 BERT 当作起点,一项一项说明今天的大语言模型(LLM)改了什么、为什么改。 后面几章讲的 Qwen3.8-27B、Flash-Next、量化、推理引擎,全都建立在这些改动上。 文中的具体数字,除非注明,都取自本机 Qwen3.8-27B-UD-Q6_K.gguf 的文件头(用 llama.cpp 自带的 gguf-py 读出)。


1.1 一张对照表

方面BERT-base / large(2018)Qwen3.8-27B(2026,本机主力)为什么变
结构只有编码器(encoder-only)只有解码器(decoder-only)生成任务要“从左到右一个一个写”,解码器天然适合;规模够大后,理解类任务也能靠生成来做
训练目标完形填空(MLM)+ 下一句预测预测下一个 token(因果语言模型)预测下一个 token 可以直接用来生成,而且任何文本都是训练数据
注意力方向双向(每个词看全句)单向(每个词只看前面)生成时后面的词还不存在
参数量1.1 亿 / 3.4 亿273 亿规模定律描述特定训练条件下损失随规模变化的趋势,具体能力要看任务评测
层数 / 隐藏维度12 / 768,或 24 / 102464 层 / 5120(另有 1 层 MTP)同上
词表WordPiece,约 3 万字节级 BPE,248,320多语言、代码、表情都要覆盖;词表大,中文一个 token 能装更多字
最长输入512 token262,144 token(本机开 131,072)读整本书、整个代码库、长对话
位置编码学出来的绝对位置向量RoPE(旋转位置编码),只转一部分维度能外推到训练时没见过的长度
归一化LayerNorm,放在残差之后(post-LN)RMSNorm,放在子层之前(pre-norm),外加 Q/K 各自归一化深层网络训练更稳
前馈层GELU,宽度 4 倍SwiGLU(三个矩阵),宽度 17408 ≈ 3.4 倍同样参数量下效果更好
注意力头多头,每个头都有自己的 K/VGQA:24 个查询头共用 4 组 K/V,每头 256 维生成时要缓存 K/V,共用能把缓存压到 1/6
注意力类型全部是标准 softmax 注意力每 4 层里 3 层是线性注意力(Gated DeltaNet),1 层是带门控的标准注意力长上下文时省显存、省算力
推理方式一次前向,拿 [CLS] 或每个位置的输出循环:每生成一个 token 做一次前向,最长几万次生成式
推理时的缓存没有KV 缓存 + 线性注意力的状态不缓存的话每一步都要从头重算
怎么用接任务头再微调直接用提示词;需要时再做 SFT / 强化学习大模型的“上下文学习”能力
思考没有可开关的“思考模式”:先写一段推理过程再回答用强化学习训出来,难题正确率大幅上升

下面逐项展开。


1.2 从“完形填空”到“预测下一个 token”

BERT 训练时把句子里 15% 的词遮住,让模型猜被遮住的是什么。每个位置能看到左右两边,所以叫双向。它擅长“理解”:分类、抽取、相似度。但它不擅长“写”:遮住的位置是一次性一起猜的,没法自然地一个词接一个词往下写。

GPT 系列及今天的大模型只做一件事:给定前面的所有 token,预测下一个 token 的概率分布。训练时整段文本一起算(用一个下三角的“因果掩码”保证每个位置只看前面),所以训练和 BERT 一样能并行;但生成时必须一个一个来:

输入: "铜价今天"
第 1 步: 模型算出下一个 token 的概率 → 采样得到 "上涨"
第 2 步: 输入变成 "铜价今天上涨" → 采样得到 "了"
第 3 步: ……直到采样到“结束”符号

这件事决定了后面几乎所有工程问题:

  • 生成 1000 个 token,就要跑 1000 次前向(第 5 章讲引擎怎么优化这个循环)。
  • 每一步只新增一个 token,但要“看”前面所有 token,所以要把前面算过的东西缓存起来(1.6 节的 KV 缓存)。
  • 稠密模型单请求解码时,大部分层都要为这一个新 token 读一遍矩阵,读的字节多,做的乘加相对少。这是带宽容易成为瓶颈的情形,并不包括词嵌入查表的整张表;MoE 也只走选中的专家。

为什么一个“只会接话”的模型能做理解类任务? 规模足够大以后,模型在海量文本上学会了“接话”所需要的几乎所有知识和推理能力。分类可以写成“这条评论是正面还是负面?答:”,让它接下去。BERT 时代每个任务要单独接分类头再微调;现在一个模型靠提示词就能做大部分任务。本机的 h2o-lightning-4b 就是这么做决策的:把选项写进提示词,一次前向读出各选项第一个 token 的概率(第 2 章 2.6 节)。

采样:模型每一步给出的是 24 万个 token 上的概率分布,具体选哪个由采样参数决定:

参数含义本机经验
temperature(温度)把概率分布变尖或变平;0 表示永远选概率最大的(贪心)温度 0 在长思考时容易陷入“同一句话无限重复”。Flash-Next 温度 0 时 IFEval 只有 85.0,按推荐温度 1.0 是 96.0
top_p / top_k / min_p只在概率最高的一部分 token 里采样,去掉长尾的胡言乱语Qwen 推荐 top_p 0.95、top_k 20
presence_penalty对已经出现过的 token 降权,减少重复不开思考时推荐 1.5,但它会让只要一个字母的选择题变差(第 7 章)

所以“模型分数”从来不只是权重的事:同一份权重换一组采样参数,分数能差 10 分。这一点在第 7 章详细讲。


1.3 分词:词表从 3 万到 24 万

BERT 用 WordPiece,中文基本一字一 token,词表约 3 万。今天的模型用字节级 BPE(Byte-level BPE):

  • 先把文本当成 UTF-8 字节,任何字符(包括生僻字、表情、二进制乱码)都能表示,不会出现 [UNK]。
  • 再按语料里的出现频率反复合并相邻字节对,常见的词、词组、代码片段会合成一个 token。
  • Qwen3.8 的词表有 248,320 个 token,合并规则 247,587 条(GGUF 里的 tokenizer.ggml.merges)。常见中文词往往一个 token 就是 2–4 个字。

词表大的代价是输入嵌入矩阵和输出矩阵很大:5120 × 248,320 ≈ 12.7 亿参数,各一份,两份合计占了 27B 的约 9%。量化时这两张表通常保留较高精度(第 3 章)。

token 数是计量单位:上下文长度、速度(tok/s)、费用都按 token 算。中文 1 个 token 大约 1.5 个汉字,英文大约 0.75 个单词。


1.4 位置编码:RoPE

BERT 给 0–511 号位置各学一个向量,加到词向量上。问题是:第 513 个位置没有向量,模型无法处理更长的输入。

RoPE(Rotary Position Embedding,旋转位置编码)的做法是:不给词向量加东西,而是在算注意力之前,把查询向量 q 和键向量 k 的每两维看成一个平面上的点,按“位置 × 某个频率”的角度旋转。两个位置的 q·k 内积只和它们的相对距离有关。好处:

  • 没有长度上限的表格,可以通过调整频率(YaRN、NTK 缩放等方法)外推到更长。
  • 相对位置天然编码进去了,适合语言。

Qwen3.8-27B 的几个细节:

  • rope.freq_base = 10,000,000(原版 Transformer 是 10,000)。基数越大,转得越慢,越适合长上下文。
  • rope.dimension_count = 64:每个头 256 维里只有 64 维参与旋转,其余 192 维不带位置信息(部分旋转,partial RoPE),一部分维度可以专门做“和位置无关”的语义匹配。
  • rope.dimension_sections = [11, 11, 10]:这是 M-RoPE / 交错 M-RoPE,把旋转的维度分成三段,分别给时间、图像高度、图像宽度用。这说明这一代模型的位置编码是按多模态(能看图)设计的;纯文本时三段用同一个位置。

1.5 归一化和前馈层的小改动

这几个改动单看都不大,但几乎所有现代 LLM 都采用了:

  1. Pre-norm:BERT 是“子层 → 加残差 → LayerNorm”,现在是“LayerNorm → 子层 → 加残差”。残差通路上没有归一化挡着,几十上百层也能稳定训练。
  2. RMSNorm:LayerNorm 要减均值、除标准差;RMSNorm 只除均方根,不减均值,少一步计算,效果相当。27B 里每层有 attn_norm、post_attention_norm 两个 RMSNorm。
  3. QK-Norm:标准注意力层里对 q 和 k 再各做一次 RMSNorm(attn_q_norm、attn_k_norm),防止 q·k 数值过大导致 softmax 饱和、训练不稳。
  4. SwiGLU:BERT 的前馈层是 W2 · GELU(W1 · x)。现在是 W_down · (SiLU(W_gate · x) ⊙ (W_up · x)):多一个“门”矩阵,逐元素相乘。三个矩阵在 GGUF 里叫 ffn_gate、ffn_up、ffn_down,形状 5120×17408、5120×17408、17408×5120。27B 的参数大头就在这里:每层约 2.67 亿,64 层合计约 171 亿,占全部参数的六成多。

1.6 KV 缓存:为什么生成需要它,它有多大

问题:第 1000 步生成时,新 token 的注意力要和前面 999 个 token 的 k、v 做运算。如果每一步都把前面 999 个 token 重新过一遍网络,计算量是平方级的。

解决:前面每个 token 在每一层算出来的 k、v 向量不会变(因果掩码保证它们不受后面 token 影响),算一次存起来就行。这就是 KV 缓存。之后每一步只需要算新 token 的 q、k、v,然后和缓存里所有的 k、v 做注意力。

BERT 没有这个问题,因为它一次前向就结束了。

KV 缓存的大小(每个 token、每个标准注意力层)= 2(K 和 V)× KV 头数 × 每头维度 × 每个数的字节数。

以 27B 为例:KV 头数 4、每头 256 维,每个 token 每层 2 × 4 × 256 = 2048 个数。

假设有 KV 缓存的层数每 token 字节(f16)131,072 token 合计
实际:GQA 4 组 K/V,只有 16 层标准注意力1664 KiB8 GiB(f16)/ 约 4.3 GiB(q8_0)
如果 64 层全是标准注意力(GQA 不变)64256 KiB32 GiB
如果再不用 GQA,24 个头都有自己的 K/V641.5 MiB192 GiB

最后一行是“BERT 式多头注意力 + 全部标准注意力”的情况:131K 上下文要 192 GiB 显存,根本放不下。Qwen3.8 靠下面两项设计把它压到了 1/24:

  • GQA(Grouped-Query Attention,分组查询注意力):24 个查询头分成 4 组,每组 6 个头共用一份 K/V。效果损失很小,缓存缩到 1/6。
  • 混合线性注意力:64 层里只有 16 层存 KV 缓存(下一节),缓存再缩到 1/4。

本机实测:Q6_K 权重 + 131K 上下文 + q8_0 KV 一共占 26.1 GiB,正好放进 R9700 的 32 GB;bf16 KV(第 5 章 rdna-boosts)KV 翻倍到约 8 GiB,仍放得下。

KV 缓存还决定了并发:每多一个同时进行的对话,就要多一份 KV 缓存。vLLM 的 PagedAttention 就是为了把这块内存管好(第 5 章)。


1.7 注意力的新变化:门控注意力和线性注意力

1.7.1 标准注意力的两个麻烦

标准(softmax)注意力:每个新 token 要和前面所有 token 算一遍相似度。

  • 计算:长度为 N 的输入,预填充(一次性读入提示)的计算量和 N² 成正比;生成时每一步和 N 成正比。
  • 显存:KV 缓存和 N 成正比,上一节已经算过。

1.7.2 线性注意力和 Gated DeltaNet

线性注意力的思路是:不保存所有历史 token 的 k、v,而是把历史压进一个固定大小的状态矩阵 S。每来一个新 token,按规则更新一次 S;读取时用新 token 的 q 去“查询”S。这样:

  • 这类层每步更新状态的计算量和状态所占显存都与上下文长度无关,像 RNN 一样。
  • 代价是压缩有损:S 的大小是固定的,记不住所有细节,尤其是精确的“回头翻找”(比如在 10 万字里找一个电话号码)。

**Gated DeltaNet(GDN)**是这一类里较新、效果较好的一种。名字里两个词各对应一个机制:

  • Delta 规则:写入新信息前,先用新的 k 去状态里“读出旧值”,只写入新值与旧值的差。相当于覆盖旧记忆,而不是一味叠加,所以不容易被塞满。
  • 门控(gated):每一步有一个衰减系数,模型可以学会“遗忘”不再需要的旧信息。

GGUF 里这些层叫 ssm_*(历史原因,沿用了 Mamba 这类“状态空间模型”的命名):

参数27B 的值含义
ssm.group_count1616 个 key 头,每头 128 维
ssm.time_step_rank4848 个 value 头,每头 128 维
ssm.state_size128每个头的状态是 128 × 128 的矩阵
ssm.conv_kernel4进入注意力前,先做一个长度 4 的短卷积,混合相邻 token

每个 GDN 层、每个对话的状态是 48 × 128 × 128 个 f32,约 3 MiB;48 层合计约 144 MiB。不管上下文是 1 千还是 26 万 token,这块都一样大。

1.7.3 混合:3 层线性 + 1 层标准

只用线性注意力,长文精确检索会变差;只用标准注意力,长上下文又太贵。Qwen3.8(从 Qwen3-Next 开始)的折中是混合:full_attention_interval = 4,即第 3、7、11……63 层(每 4 层的最后一层)是标准注意力,其余 48 层是 GDN。标准注意力层负责精确检索,GDN 层负责便宜地处理大部分信息流动。

1.7.4 门控注意力

那 16 层标准注意力也不是原样的:查询投影 attn_q 的输出是 12,288 维 = 24 头 × 256 维 × 2,一半是 q,另一半是“门”。注意力的输出先乘上 sigmoid(门) 再进入输出投影。这样模型可以按头、按维度关掉没用的注意力输出,缓解“注意力汇聚”(attention sink:大量注意力权重堆在第一个 token 上)等问题,训练也更稳定。

把这些拼起来,27B 的一层大概是这样:

x ──RMSNorm──► [ GDN 线性注意力(48 层)或 门控 GQA 标准注意力(16 层) ] ──► + x
  ──RMSNorm──► [ SwiGLU 前馈:gate / up 5120→17408,down 17408→5120 ]   ──► + x

64 层之后,接一个 RMSNorm 和输出矩阵(5120 → 248,320),得到下一个 token 的概率。另外还有第 65 层(blk.64),是 MTP 草稿层,第 2 章和第 6 章讲。


1.8 专家混合(MoE)

27B 是稠密模型(dense):每个 token 都经过各层的稠密前馈网络。专家混合(Mixture of Experts,MoE)把前馈层拆成很多个小前馈网络(“专家”),再加一个小的路由器(router),每个 token 只选其中几个专家来算:

           ┌─► 专家 1 ┐
x ─► 路由器 ├─► 专家 2 ├─► 按路由权重加权求和 ─► 输出
 (打分选 top-k) ...    │
           └─► 专家 512┘   (每个 token 只算被选中的 10 个 + 1 个共享专家)

总参数量决定有多少权重需要存放,激活量才描述一个 token 经过其中多少。Flash-Next 主干和专家约 125B,另有约 51B 查表和 4B MTP,每 token 激活约 6B。知识题得另测:第 7 章温度 0 的 MMLU-Pro 直答,Flash-Next 得 68.6,27B 得 63.9;推荐采样下未检出显著差异。不能凭总参数给知识面排座次。

代价:

  • 所有专家都得放在某处。27B 的 Q6_K 是 22 GB,Flash-Next 的 3-bit 版本仍有 76 GB,单卡放不下,只能把专家分散到显存、内存甚至硬盘。Strata 引擎就是专门干这个的(第 5 章)。
  • 专家很小、访问又随机,对引擎的要求和稠密模型完全不同。
  • 并发时,不同请求选中的专家不一样,每一步要读的专家变多,并发收益比稠密模型小。本机 Strata 单路 79.8 tok/s,四路合计 89.7 tok/s,均摊约 22.4 tok/s。

几个术语:top-k 路由(每个 token 选得分最高的 k 个专家)、共享专家(每个 token 都会经过的那一个,学通用知识)、细粒度专家(专家数量多、每个很小,Flash-Next 每个专家的中间维度只有 640)、负载均衡(训练时防止所有 token 都挤向少数几个专家)。


1.9 训练流程:从预训练到“会思考”

BERT 时代是“预训练 + 任务微调”两步。现在一个对话模型通常经过:

  1. 预训练:在十几到几十万亿 token 的文本、代码上做“预测下一个 token”。这一步花掉绝大部分算力,决定模型的知识和基本能力。
  2. 中期训练 / 长上下文扩展:用更长的文本继续训练,把上下文从几千拉到几十万。
  3. SFT(监督微调,指令微调):用几十万到几百万条“问题 → 好回答”的对话样本微调,让它学会按对话格式回答、听指令。
  4. 偏好优化 / 强化学习:
    • RLHF:先训一个奖励模型给回答打分,再用 PPO 等强化学习算法让模型朝高分方向调整(InstructGPT 的做法)。
    • DPO、SimPO 这类方法:直接用“A 回答比 B 好”的成对数据调整模型,不需要单独的奖励模型。
    • RLVR(可验证奖励的强化学习):数学题对答案、代码跑测试,对就给奖励。DeepSeek-R1 用的 GRPO 就是这一类。
  5. 思考模式:经过 RLVR,模型学会在回答前先写一大段“思考”(<think> … </think>):列步骤、试错、检查。难题正确率因此大幅上升,代价是输出变长:本机 27B 做 MMLU-Pro 开思考时平均写 1400–2100 个 token。Qwen3.8 是混合思考模型,同一个模型可以用 enable_thinking 开关切换。

第 4 章讲的那些“微调变体”(Swift-1.5、ThinkingCap 等),就是社区在第 3、4 步上继续加工:大多数目标是“想得更短但不掉分”。


1.10 本章小结:带着这些问题读后面的章节

  • 为什么生成慢? 稠密模型单请求解码常受显存带宽限制,速度上限可用带宽除以每步实际读取的字节数来估。嵌入只查部分行,MoE 只选部分专家;量化减少读取量,推测解码让一次验证有机会提交多个 token。
  • 为什么长上下文费显存? KV 缓存。→ GQA、混合线性注意力(本章)、KV 量化(第 3 章)、分页管理(第 5 章)。
  • 为什么同一个模型分数不一样? 量化误差、采样参数、思考长度上限、评测样本量。→ 第 7 章。
  • 为什么不能用 BERT 时代的部署方式? 循环生成、动态长度、KV 缓存管理、并发调度。→ 第 5 章。

本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。

最后更新于