跳至内容
第 5 章 推理引擎:和 BERT 时代的推理框架有什么不同

第 5 章 推理引擎:和 BERT 时代的推理框架有什么不同

所属专题:本地大模型架构与推理框架详解

你熟悉的 BERT 部署大概是:导出 ONNX / TorchScript,放进 Triton 或 TorchServe,攒一个 batch,跑一次前向,拿到分类结果。 大模型推理引擎(llama.cpp、vLLM、SGLang、Paiton、Strata……)解决的是另一类问题。 这一章讲:

  • 为什么“生成文本”和“给文本分类”在工程上是两回事;
  • KV cache、连续批处理、分页注意力、前缀缓存这些概念是为了解决什么;
  • 主流引擎各自的定位;
  • llama.cpp 的内部结构,以及本机 Vulkan 与 ROCm 在不同负载上的实测差异;
  • 2026 年这批“专用引擎”(Paiton、Strata、R9V、NInfer)走的是什么路线。

推测解码(MTP、DFlash2)单独放第 6 章。

来源标记:【官方】= 项目文档;【源码】= 直接读的代码或提交记录;【论文】;【作者自报】;【社区】;【本机实测】;【推断】= 我的理解。


5.1 根本区别:一次前向 vs 一个循环

5.1.1 BERT:一次前向就结束

输入:[CLS] 今 天 天 气 很 好 [SEP](比如 128 个 token)
       ↓ 一次前向,所有 token 同时算
输出:分类概率
  • 每个请求的计算量固定,只和输入长度有关;
  • 一个 batch 里的请求同时开始、同时结束;
  • 输入形状可以固定(padding 到 128 或 512),很适合 TensorRT 这类“编译成固定引擎”的做法;
  • 只有一个延迟指标。

5.1.2 生成式大模型:一个 token 一个 token 地循环

输入:“请写一首诗”(比如 2000 个 token 的提示)
  ↓ 第 1 步:把 2000 个 token 一次性算完        ← 预填充(prefill)
  → 输出第 1 个 token “春”
  ↓ 第 2 步:只算“春”这 1 个新 token            ← 解码(decode)
  → 输出“风”
  ↓ 第 3 步:只算“风”
  → ……
  重复几百到几万次,直到输出结束符

生成 K 个 token 就要串行跑 K 次模型【论文:Leviathan 2023】。这带来了 BERT 时代没有的四个问题:

  1. 两个阶段性质完全不同(5.1.3 节);
  2. 要缓存历史,否则每一步都要把前面所有 token 重算一遍(5.2 节);
  3. 请求长度不可预测:有人要 10 个 token,有人要 30000 个,固定 batch 会让短请求干等(5.3 节);
  4. 指标变成三个(5.1.4 节)。

5.1.3 预填充算力受限,解码带宽受限

这是理解整个推理引擎设计的钥匙。

预填充:2000 个 token 同时乘同一个权重矩阵,是“矩阵 × 矩阵”。每从显存读一个字节的权重,可以做几千次乘加。瓶颈是 GPU 的算力。这和 BERT 的前向一样。

解码:每个请求每一步只有 1 个新 token,是“矩阵 × 向量”。每读一个字节的权重只做约 1–2 次乘加,GPU 的计算单元大部分时间在等数据。瓶颈是显存带宽。

所以单请求解码速度有一个简单的上限:

解码速度上限(token/s)≈ 显存带宽(GB/s)÷ 每个 token 要读的字节数(GB)

本机例子【本机实测 + 规格】:

  • R9700 显存带宽约 640 GB/s(官方规格,本文没有逐项核实);
  • Qwen3.8-27B UD-Q6_K 每个 token 要读约 20.9 GB 的权重;
  • 上限 ≈ 640 ÷ 20.9 ≈ 30.6 token/s;
  • 实测不开推测解码 24.7–25.3 token/s,是上限的约 82%。

stew675 在 2 × R9700 上跑 Q8_0、不开推测解码,四类内容(推理、散文、代码、逐字复述)都是 29.9–30.1 token/s【作者自报,PR #27210】。速度和内容无关,这是带宽受限的典型特征。

这个公式能解释后面几乎所有的加速手段:

手段怎么绕开带宽墙章节
量化每个 token 读的字节变少第 3 章
MoE每个 token 只读激活的专家第 2 章、第 7 章
批处理读一次权重,同时给多个请求用5.3 节
推测解码读一次权重,同时验证多个 token第 6 章

5.1.4 三个指标互相拉扯

指标含义主要由什么决定
TTFT(首 token 延迟)发出请求到第一个输出 token 可见预填充耗时约为提示 token 数 ÷ 预填充吞吐(tok/s);还要计排队、首步生成和传输等开销
TPOT / 解码速度之后每个字的间隔,或每秒多少 token带宽、量化、推测解码
总吞吐所有并发请求加起来每秒多少 token批处理效率

例:Paiton 文档写 64K 提示在 3 位量化下要约 8 秒才出第一个字【作者自报】;本机 43K 提示在 rdna-boosts 上预填充约 930 token/s,由实测吞吐估算,单预填充就约 46 秒;这不是另测的端到端首字延迟。

单人聊天看 TTFT 和解码速度;批量处理看总吞吐。这两个目标经常冲突:提高并发有时能增加总吞吐,同时拖慢单个请求。本机 Strata 从单路 79.8 到四路合计 89.7 tok/s,按四路均摊约 22.4 tok/s【本机实测】。


5.2 KV cache:用显存换掉重复计算

5.2.1 它是什么

注意力的计算是:当前 token 的 Q 去和所有历史 token 的 K、V 做运算。历史 token 的 K、V 一旦算出就不会变,所以存起来,下一步直接用。这就是 KV cache。

BERT 不需要它,因为一次前向就结束了。

5.2.2 它有多大

每个 token 的 KV 字节数 = 2(K 和 V)× 注意力层数 × KV 头数 × 每头维度 × 每个元素的字节数
模型注意力层KV 头头维度每 token(bf16)131K 上下文
Qwen3-32B(传统全注意力)648128256 KiB32 GiB
Qwen3.8-27B(只有 1/4 是注意力层)16425664 KiB8 GiB
同上,q8_0 KV约 34 KiB约 4.3 GiB

(第 2 章 2.3.3 节有推导。)

另外 48 层 Gated DeltaNet 每个请求有一个固定大小的状态,约 144 MiB,和上下文长度无关。

这就是 27B 能在单张 32 GB 卡上开 131K 上下文的原因:权重 20.9 GB + KV 约 4–8 GB + 其他。如果是传统全注意力的 32B 模型,131K 的 KV 本身就要 32 GiB,放不下。

多个请求时 KV 是按请求叠加的:4 个请求各 32K = 128K 的总量。这是并发数的硬约束。

5.2.3 KV cache 带来的新问题

  1. 长度事先未知:一个请求最后会生成 100 还是 30000 token,开始时不知道。预先按最大长度给每个请求留空间,会浪费大量显存。
  2. 碎片:PagedAttention 论文测量,当时的系统里只有 20.4%–38.2% 的 KV 显存真正存了 token 状态,其余被预留、内部碎片、外部碎片浪费掉【论文】。
  3. 混合模型的复杂性:Qwen3.8 这类模型既有 KV(可以按 token 截取),又有递归状态(只能整体保存某个位置的快照)。NInfer 文档的说法:复用一个前缀,需要那个位置的完整递归状态加连续的 KV【源码】。所以前缀缓存、推测解码的回滚都比纯注意力模型麻烦。

5.3 批处理:从“静态 batch”到“连续批处理”

5.3.1 静态 batch 的问题

BERT 的做法:攒 32 个请求,一起跑完,一起返回。

生成模型这样做:

请求 A:生成 10 token    ████
请求 B:生成 500 token   ████████████████████████████████
请求 C:生成 50 token    ████████
                          ↑ A、C 早就结束了,但要陪 B 跑完才能返回
                            新请求也只能等这一批全部结束

5.3.2 连续批处理(continuous batching)

Orca(OSDI'22)提出:调度单位从“请求”改成“一步”【论文】。

每一步:
  - 已经结束的请求立刻移出、返回
  - 新到的请求立刻加入
  - 这一步一起算所有活跃请求的下一个 token

GPT-3 175B 上同延迟下吞吐是当时 FasterTransformer 的 36.9 倍【论文】。现在所有主流引擎都用它,llama.cpp server 默认打开 --cont-batching【官方】。

为什么批处理能提高吞吐:解码是带宽受限的。一次读权重,原本只服务 1 个请求,现在服务 8 个,计算量涨 8 倍但读取量几乎不变(KV 部分除外),GPU 本来空闲的算力被用上了。

5.3.3 PagedAttention(vLLM)

借鉴操作系统的虚拟内存分页【论文,SOSP'23】:

  • 把 KV cache 切成固定大小的块(比如每块 16 个 token);
  • 每个请求有一张“块表”,记录它的逻辑位置对应哪些物理块;
  • 按需分配,用完就还,几乎没有碎片;
  • 同一提示的多个采样可以共享前缀块。

效果:同样延迟下吞吐提高 2–4 倍【论文】。

llama.cpp 没有用块表,而是一个统一的 KV 单元池加“槽位(slot)”分配(--kv-unified)【官方】。本机 Flash-Next 双卡测试时,4 个槽平分 65536 上下文,每个只有 16K,32K 的提示就失败了;加 --kv-unified 让所有槽共享整个池后 43.5K 的提示能跑通【本机实测】。

5.3.4 前缀缓存

很多请求的开头是一样的:同一个系统提示、同一份长文档、多轮对话的历史。前缀缓存把这些 KV 留着,下次直接复用,跳过预填充。

引擎做法
vLLM每个满块算哈希 = 哈希(父块哈希, 本块 token, LoRA id 等),查表复用【官方】
SGLangRadixAttention:用基数树组织所有请求的 KV,按 LRU 淘汰,调度时优先排能命中缓存的请求【论文】
llama.cpp--cache-reuse(通过 KV 平移复用)、--slot-save-path(把槽的 KV 存盘)【官方】

对智能体、多轮对话、代码助手这类“反复发送长上下文”的场景,前缀缓存的收益最大。Paiton 的 long-kv4 模式就是为编码智能体做的,号称能缓存约 629K token,还能溢出到内存或 SSD【作者自报】。

5.3.5 分块预填充(chunked prefill)

一个 100K 的长提示预填充要几十秒,这期间其他人的解码会卡住。

做法:把长提示切成小块(比如每块 2048 或 8192 token),和别人的解码步混在同一批里跑【论文:Sarathi-Serve;官方:vLLM V1 默认开启】。vLLM 的调度器先排解码,再用剩下的 token 预算排预填充【官方】。

Strata 也用最多 8192 token 的分块预填充【官方】。


5.4 内核层面的优化

“内核(kernel)”指在 GPU 上执行的一个具体计算函数,比如一次矩阵乘、一次注意力。

5.4.1 FlashAttention

普通注意力要把 N × N 的注意力矩阵写到显存再读回来。FlashAttention【论文 2205.14135、2307.08691】把计算切成小块在片上缓存里完成,不把 N × N 矩阵写回显存。结果完全相同,但长上下文时快得多、省得多。

llama.cpp 里是 -fa on|off|auto;KV 用量化类型(q8_0 等)时必须开 FA【官方】。

5.4.2 量化矩阵乘:MMQ、MMVQ 和“先反量化再 GEMM”

权重是量化的(第 3 章),计算时有两种做法:

做法过程适合
反量化 + GEMM先把量化权重还原成 FP16 / BF16 大矩阵,再调厂商的 BLAS 库大 batch 预填充(BLAS 库算得快),但多一次显存往返
MMQ(量化矩阵乘)激活也量化成 8 位,直接用整数点积在量化权重上算中等 batch,省显存
MMVQ(量化矩阵 × 向量)解码专用:一边读量化权重一边算单 token 解码

llama.cpp 默认在有 int8 矩阵单元的 GPU 上用 MMQ【官方】。有意思的是,stew675 的 rdna-boosts 补丁反过来,给 R9700 的长预填充加了 MMB(先反量化到 BF16 再走 WMMA 矩阵单元),因为在 RDNA4 上这样更快【源码】。这说明“哪种内核最快”取决于具体硬件,没有通用答案。

这也解释了第 3 章的现象:GSQ-RCO IQ3_S 文件只有 Q6_K 的一半,代码解码却只快约 19%,JSON 反而更慢。i-quant 的反量化要查码本,在 Vulkan 上开销大,省下的带宽被计算吃掉了【本机实测 + 推断】。

5.4.3 融合内核

把几个小操作合成一个内核(比如 RMSNorm + 乘权重,或 MoE 的 gate + up + 激活),减少读写显存的次数和启动开销。rdna-boosts 的第 8 块补丁就是一组融合内核【源码】。

5.4.4 CUDA Graphs

解码时每一步要启动几百个小内核,CPU 发起启动本身的开销就很可观。CUDA Graphs 把整步的内核序列“录下来”,之后一次重放。

BERT 时代 batch 形状固定,天然适合录制。LLM 解码每一步的 batch 大小都可能变,所以 vLLM 对一组离散的 batch 大小预先录制,预填充和解码分开录【官方】。


5.5 主流引擎地图

引擎定位硬件核心技术模型格式
vLLM数据中心高并发服务的事实标准NVIDIA 为主,ROCm、其他通过插件PagedAttention、连续批处理、前缀缓存、分块预填充、CUDA Graphs、多种推测解码HF safetensors(也能读部分 GGUF)
SGLang和 vLLM 同级,强调前缀复用和结构化输出NVIDIA 为主RadixAttention、压缩有限状态机(JSON 一次解多个 token)HF safetensors
TGI(Hugging Face)已进入维护模式,官方建议迁到 vLLM / SGLang / llama.cpp【官方】———
TensorRT-LLMNVIDIA 官方,把模型编译成针对特定 GPU 的引擎仅 NVIDIA和 BERT 时代的 TensorRT 同一思路,加上 in-flight batching、分页 KV编译产物
llama.cpp单机、低并发、异构硬件、量化种类最多几乎所有:CUDA、HIP、Vulkan、Metal、CPU……ggml 张量库、GGUF、MMQ、多后端混用GGUF

和 BERT 时代对照:

BERT 时代大模型时代差别
Triton Inference ServervLLM / SGLangTriton 是通用的“模型托管 + 动态 batch”;vLLM 专门为自回归生成和 KV 管理设计
TensorRTTensorRT-LLM同样是编译,但要额外处理 KV、可变长度
ONNX Runtime CPU 推理llama.cpp都能在 CPU / 普通硬件上跑;llama.cpp 主打低位量化

本机两张卡的情况决定了选择:R9700 是 AMD RDNA4,vLLM 原生支持弱;3090 是 Ampere,不具备 Blackwell 的原生 NVFP4 矩阵运算;引擎还有自己的型号限制(见 5.8)。所以主力是 llama.cpp,加上几个 R9700 专用的引擎。


5.6 llama.cpp 内部结构

5.6.1 三层

llama-server(HTTP 服务、OpenAI 兼容 API、槽位调度、采样、推测解码)
     ↓
libllama(模型结构:每种架构怎么搭计算图,比如 qwen35 的 GDN + 注意力)
     ↓
ggml(张量库:计算图 + 各硬件后端的内核)
     ├─ CUDA 后端(NVIDIA)
     ├─ HIP 后端(AMD,用 hipcc 编译 CUDA 后端的同一份源码)
     ├─ Vulkan 后端(跨厂商,GLSL 着色器编译成 SPIR-V)
     ├─ Metal、SYCL、CPU……

两点和直觉不同的事实【源码】:

  • HIP 后端不是独立实现。它的 CMakeLists 直接 glob ggml-cuda/*.cu 用 hipcc 编译,靠宏(AMD_WMMA_AVAILABLE 等)区分硬件。所以 CUDA 后端的优化会自动部分惠及 AMD,但它们主要是为 NVIDIA 调的。
  • Vulkan 后端是完全独立的一套。编译时检测驱动支持哪些扩展(coopmat 协作矩阵、整数点积等),生成对应的着色器变体。

多个后端可以编进同一个程序,运行时选择【官方】。下文的 Flash-Next 异构双卡是 Vulkan 驱动一张 R9700 和一张 RTX 3090,不是同时调用 HIP 与 CUDA。

5.6.2 GGUF 和 mmap

GGUF 是单文件格式:头部是带类型的键值元数据(架构、层数、分词器、聊天模板……),后面是张量数据。设计目标之一是能直接 mmap(内存映射):文件不用整个读进内存,访问到哪页由操作系统按需调入,多个进程还能共享【官方】。

文件名后缀 mmproj- 是多模态投影器,mtp- 是 MTP 头的旁挂文件【官方】。

本机用到 mmap 的例子:Flash-Next 的 28.8 GB n-gram 表分片用 -lm mmap 放在磁盘上按需读,进程常驻内存只有 1.9 GB;第一次请求时要从磁盘懒加载,2.7K 提示的预填充只有 189 token/s,第二次就到了 1321【本机实测】。

5.6.3 多 GPU 切分

-sm 模式做法通信状态
layer(默认)流水线:卡 1 放前 N 层,卡 2 放后面的层每个层边界传一次激活,很少稳定
row按行切每个矩阵—已弃用
tensor类似张量并行:每层的权重和 KV 都切到各卡每层多次 all-reduce实验性,要 -fa on

官方建议:layer 对预填充好、对慢互联宽容;tensor 对解码好,但要快互联【官方】。

本机两张卡只靠 PCIe 连接,还是不同厂商,所以用 layer 模式加 --tensor-split 27,20 按显存比例分层。代价是两张卡串行工作:卡 1 算完前一半,卡 2 才能算后一半,单请求解码不会比单卡快。本机 Flash-Next 双卡单请求只有 41 token/s,是 Strata 单卡的 35–50%(还没有 MTP、两卡都限了功耗);但 4 并发总吞吐从 37.8 涨到 68.1,扩展性比 Strata 好【本机实测】。

5.6.4 MoE 专家卸载

参数作用
--cpu-moe所有专家权重放内存,CPU 计算
--n-cpu-moe N前 N 层的专家放内存
-ot <正则>=<设备>按张量名指定放哪里,最灵活
--moe-cache-mib N为放在内存的专家在显存里建一个缓存(较新)

原理:MoE 每个 token 只用少数专家(Flash-Next 是 512 选 10 + 1 共享),注意力、路由、共享专家放 GPU,大量“冷”专家放内存【官方】。

5.6.5 llama-server 的几个关键参数

参数含义
-np N并行槽位数(同时服务几个请求)
-c N总上下文长度
--kv-unified所有槽共享一个 KV 池(不平分)
-b / -ub逻辑 / 物理 batch,影响预填充
-ctk / -ctvKV 的数据类型:f16(默认)、bf16、q8_0、q4_0……
--spec-type draft-mtp用模型自带的 MTP 头做推测解码(第 6 章)
--jinja用 GGUF 里的 Jinja 聊天模板

5.7 AMD 和 NVIDIA 的软件栈

5.7.1 对照

NVIDIAAMD
编程模型CUDAHIP(CUDA 风格的 C++ 方言,代码几乎可以一对一转换)
整个平台CUDA ToolkitROCm
矩阵库cuBLAS、cuBLASLtrocBLAS、hipBLAS、hipBLASLt
矩阵单元Tensor Core数据中心卡 CDNA:MFMA(wave64);消费 / 工作站卡 RDNA:WMMA(wave32)
跨厂商选项VulkanVulkan

R9700 的架构代号是 gfx1201(RDNA4,和 RX 9070 系列同一颗芯片),原生 wave32【官方:LLVM 文档】。

5.7.2 为什么消费级 AMD 卡支持总是慢半拍

AMD 的 ROCm 长期优先服务数据中心的 CDNA 卡(Instinct 系列)。RDNA2 到 ROCm 5.0 才首次获得官方支持(还只限几款工作站卡),RDNA4 到 ROCm 6.4.1(2025 年 5 月)才正式支持【社区:Phoronix 新闻,版本号请自行核对】。通用库对 RDNA4 的优化也晚。

所以 2026 年出现了一批“自己给 gfx1201 写内核”的项目:Paiton、R9V、Radiance 系 vLLM 分支、stew675 的 rdna-boosts、Strata 的 HIP 后端【推断:这是这些项目共同的动机】。

5.7.3 一张 R9700 上的四套实现

【本机实测】一张 R9700,27B UD-Q6_K,131K 窗口,MTP 草稿上限 3、关思考。除表中单列的 bf16 行外都是 q8_0 KV。单路解码取三次中位数;43K 后续写和四路合计是不同负载,不能横向混算。速率单位均为 tok/s。

配置解码(代码 / JSON / 英文 / 中文)预填充 2.7K / 10.9K / 43K43K 提示后的解码4 并发合计
rdna-boosts(HIP)+ bf16 KV70.4 / 76.4 / 51.5 / 45.0946 / 1039 / 93348.255.0
rdna-boosts(HIP)67.6 / 74.8 / 49.5 / 42.8943 / 1044 / 93550.451.9
主线 Vulkan(现用)63.4 / 71.0 / 46.5 / 39.2770 / 836 / 72940.649.1
主线 ROCm,GPU_MAX_HW_QUEUES=152.6 / 57.0 / 38.6 / 33.4691 / 778 / 72031.3—

结论:

  • 主线 HIP 的四类单路解码在这次测试中均慢于主线 Vulkan。例如代码 52.6 对 63.4 tok/s;这是整套构建的差异,不是单个内核的计时。
  • 同为 q8_0,换 rdna-boosts HIP 后,代码从 63.4 到 67.6,43K 提示后从 40.6 到 50.4;四并发看合计 49.1 对 51.9。
  • 分支内再换 bf16 KV,单路代码到 70.4,但 43K 后续写从 50.4 到 48.2,KV 所需空间也更大。
  • 这里没有单独重跑这个分支的质量题集。换引擎不改 GGUF 权重,并不能代替质量检查。

社区数据和这个方向一致:Phoronix 测 R9700,文本生成 Vulkan 快于 ROCm 7.1,部分模型的预填充 ROCm 更快;另一份 RX 9070 XT 测试 Vulkan 解码约 220 对 HIP 179【社区】。

分清两个问题:补丁做了什么,可以看代码;这些改动各自贡献了多少,需要逐项开关或性能剖析。这里测的是整套后端,不能把表里两行之差判给驱动、编译器或某一个算子。

5.7.4 rdna-boosts 补了什么

stew675 的补丁集(独立仓库 stew675/llama-cpp-rdna-boosts,MIT;整合后的源码在 stew675/llama.cpp 的 rdna-boosts 分支)当前是 12 块补丁【源码】:

块内容对本机的意义
01RDNA4 之间的自定义 all-reduce本机只有一张 R9700,用不上
02自适应 MTP 草稿深度第 6 章
03Gated DeltaNet 的分块预填充(BF16 / WMMA)对应 27B 的 GDN 层,未单测该补丁贡献
04BF16 KV + 原生 BF16 FlashAttention支持表中的 bf16 KV 路径
06MMB:长预填充先反量化到 BF16 走 WMMA预填充
07k-quant 加速(Q6_K 的 MMQ 等)本机用的就是 Q6_K
08融合内核解码
09内存驻留 MoE + 专家缓存MoE 模型
10qwen4exp(Flash-Next 架构)—

作者还强调“贪心纯度”:普通解码和 MTP 验证批在草稿深度 ≤ 7 时逐字节一致【源码】。

它是个人维护的分支,没合进主线。


5.8 2026 年的专用引擎:用通用性换速度

引擎做什么硬件开源本机
Paiton(Eliovp-BV)vLLM 插件 + 自有量化和内核(MXFP4、3 位 + DFlash2)只调过 R9700插件 Apache-2.0,编译器专有,仓库里是编译好的产物已测
Strata(Niko1221)Flash-Next 专用的专家分层卸载引擎HIP 或 CUDA,不能混用MIT已测
R9V(Dyluhn)Flash-Next 形状特化:vLLM 分支 + gfx1201 内核 + 专家卸载 + 4 token MTP2 × R9700Apache-2.0本机只有一张,没测
NInfer(Neroued)从零写的 C++/CUDA 单卡引擎只支持 RTX 5090Apache-2.0不可用
ninfer-fusion-kvmemNInfer 的下游分支,有 3090 版3090 / 40 / 50 系Apache-2.0没测(作者自称不保证正确)
Project MayaGLM-5.3-Flash 专用,基于 Strata 和 ggmlNVIDIA 为主MIT没测
KTransformers(清华)学术路线的 CPU/GPU 混合 MoE 推理,已进 SGLangIntel AMX、AVX、ROCm……Apache-2.0没测

共同点【推断】:模型形状特化 + 量化格式特化 + 硬件特化,牺牲通用性换取单机极限性能。和 vLLM、llama.cpp 的通用路线正好相反。风险是维护靠个人或小团队,出问题难排查。

5.8.1 Paiton:本机最快,但掉分

  • 是标准 vLLM 加 Python 插件(vLLM 的 entry_points 插件机制允许外部注册新硬件平台和模型),不是一个新引擎【官方】;
  • Qwen3.8-27B 用 MXFP4 或 3 位权重 + DFlash2 草稿;
  • 本机实测:代码 / JSON / 英文 / 中文解码 176 / 200 / 84 / 57 token/s,其中单路代码约为 llama.cpp Vulkan 的 2.8 倍;8 并发合计 349 token/s;
  • 但知识题显著掉分:MMLU-Pro 直答 61.9 对 64.6(p = 0.002),CoT 77.7 对 80.2(p = 0.034),IFEval 低约 4 分【本机实测】。第 3 章 3.8 节给出 NVFP4 转 MXFP4 的舍入例子;这两套配置同时换了格式和推理路径,尚未量出转换单独贡献的分差。

一个细节:Paiton 文档提示 GPU_MAX_HW_QUEUES=1 能让 RDNA4 解码快约 4 倍【作者自报】,上表最后一行记录主线 ROCm 开启该设置的结果;缺少同一构建关闭它的对照,无法从表中算出该开关的收益。

5.8.2 Strata:专家分三层放

Flash-Next 总参数约 180B,显存放不下。Strata 的分层【官方】:

显存(GPU):注意力 + DeltaNet 层、路由、共享专家、输出头、MTP 层、KV cache
            + 专家缓存:剩余显存都用来放“最常用的专家”(随对话热度自适应)
内存(RAM):全部 24,576 个专家(48 层 × 512),锁页
            未命中缓存的专家由 CPU 就地计算,或经 PCIe 搬到 GPU 算
SSD:      28.8 GB 的 n-gram 嵌入表,每个 token 只读几行

在当前层算注意力的同时,通过 PCIe 预取下一层可能用到的专家。

本机实测:启动 42 秒(从磁盘读 40 GB 专家进内存,再把 14660 个最常用的专家、23.8 GB 放进显存),测速时专家缓存命中率平均 95%。解码 113 / 122 / 82 / 78 token/s,其中单路代码比 27B 在 llama.cpp 上的 70.4 tok/s 快约 60%【本机实测】。

和 llama.cpp --n-cpu-moe 的区别:后者是静态划分(哪些层放内存是固定的);Strata 是动态热专家缓存加预取。Strata 文档还提醒:命中率更高的运行不一定更快,不要只看命中率【官方】。

另一次 Flash-Next 测试比较的是 Strata 与 llama.cpp 异构双卡,不是上面 27B 的分支对照。温度 0 下 HumanEval p = 1.0,MMLU-Pro 直答 p = 0.12【本机实测】:在这些配对题上未检出差异。

5.8.3 kvmem:近似注意力,不是无损

ninfer-fusion-kvmem 把“显存里的 KV 池大小”“逻辑上下文长度”“内存里的 KV 预算”分开配置:显存只保留一个常驻窗口,其他页放到内存,按内容相关性挑选一部分页取回参与注意力【作者自报】。

这和 vLLM 的 KV 换出换入不同:vLLM 整块换回来,注意力是精确的;kvmem 只取一部分,是近似的。README 自己也写明不保证质量和全注意力一样【官方】。


5.9 本机怎么选引擎

需求选择理由
默认主服务,要稳主线 llama.cpp Vulkan + MTP证据最充分,131K 上下文,并发好
R9700 单路代码、同一 27B 权重rdna-boosts HIP;需要时比较 q8_0 与 bf16 KVq8_0:67.6;bf16:70.4 tok/s。长提示后 q8_0 反而较快。分支质量未另测
单人交互、要快Flash-Next + Strata代码单路约 113 tok/s(27B 分支约 70);同一 Flash-Next 在两套引擎上的配对分数见 5.8.2,跨模型比较见第 7 章
批量、多人、代码 / JSONPaiton vLLM MXFP4解码约 2.8 倍,但知识题显著低约 2.5 分,内核闭源
没有 HIP 环境,或要用 3090llama.cpp Vulkan 双卡通用,单请求慢

本章小结

  1. 生成是循环:预填充算力受限(像 BERT),解码带宽受限(BERT 没有)。
  2. 解码速度上限 ≈ 带宽 ÷ 每 token 读的字节数。几乎所有加速手段都是在减少读取或摊薄读取。
  3. KV cache 是生成模型特有的显存大户;Qwen3.8 的 3:1 混合结构让它只有传统模型的 1/4。
  4. 连续批处理、PagedAttention、前缀缓存、分块预填充,都是为“长度不可预测的循环”设计的。
  5. llama.cpp 适合本机这种异构、低并发、AMD 为主的环境;R9700 上 Vulkan 快于主线 ROCm,rdna-boosts 更快。
  6. Paiton 在两项 MMLU-Pro 比较中得分较低;同一 Flash-Next 用 Strata 和异构双卡跑两项配对题,未检出分差。

参考资料(本章)

入门读物(建议先读)

  • kipply,Transformer Inference Arithmetic(用算术强度解释预填充 / 解码和 KV 大小):https://kipp.ly/transformer-inference-arithmetic/
  • Hugging Face,Optimizing LLMs for Speed and Memory:https://huggingface.co/docs/transformers/llm_tutorial_optimization
  • vLLM 博客,Inside vLLM: Anatomy of a High-Throughput LLM Inference System:https://blog.vllm.ai/2025/09/05/anatomy-of-vllm.html
  • vLLM 首篇博客:https://blog.vllm.ai/2023/06/20/vllm.html

(以上四篇研究时只确认了能访问和标题,没有通读。)

论文

  • Orca(连续批处理):https://www.usenix.org/conference/osdi22/presentation/yu
  • PagedAttention / vLLM:https://arxiv.org/abs/2309.06180
  • Sarathi-Serve(分块预填充):https://arxiv.org/abs/2403.02310
  • SGLang / RadixAttention:https://arxiv.org/abs/2312.07104 ;博客:https://lmsys.org/blog/2024-01-17-sglang/
  • FlashAttention:https://arxiv.org/abs/2205.14135 ;FlashAttention-2:https://arxiv.org/abs/2307.08691
  • KTransformers(SOSP'25):https://madsys.cs.tsinghua.edu.cn/publication/ktransformers-unleashing-the-full-potential-of-cpu/gpu-hybrid-inference-for-moe-models/

官方文档

  • llama.cpp server 参数:https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
  • llama.cpp 多 GPU:https://github.com/ggml-org/llama.cpp/blob/master/docs/multi-gpu.md
  • llama.cpp 编译与后端:https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md
  • GGUF 格式:https://github.com/ggml-org/ggml/blob/master/docs/gguf.md
  • vLLM 设计文档(插件、前缀缓存、CUDA Graphs):https://github.com/vllm-project/vllm/tree/main/docs/design
  • AMD WMMA on RDNA3:https://gpuopen.com/learn/wmma_on_rdna3/
  • LLVM AMDGPU(gfx1201 的定义):https://llvm.org/docs/AMDGPUUsage.html

社区实测

  • llama.cpp ROCm 记分板:https://github.com/ggml-org/llama.cpp/discussions/15021
  • llama.cpp Vulkan 记分板:https://github.com/ggml-org/llama.cpp/discussions/10879
  • Phoronix,R9700 上 ROCm 7.1 对 RADV Vulkan:https://www.phoronix.com/review/rocm-71-llama-cpp-vulkan/2 (研究时网页 403,内容来自搜索摘要)

本机用到的项目

  • rdna-boosts 补丁集:https://github.com/stew675/llama-cpp-rdna-boosts
  • Paiton:https://github.com/Eliovp-BV/paiton-vllm-plugin
  • Strata(重点读 docs/HOW_IT_WORKS.md):https://github.com/Niko1221/Strata
  • R9V:https://github.com/Dyluhn/R9V
  • NInfer:https://github.com/Neroued/ninfer ;kvmem:https://github.com/1314521gjy/ninfer-fusion-kvmem
  • Project Maya:https://github.com/mw00/project-maya
  • KTransformers:https://github.com/kvcache-ai/ktransformers

本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。

最后更新于