本地大模型架构与推理框架详解
本地大模型架构与推理框架详解

写给有 BERT 时代基础的读者:现代大模型的架构、量化、微调变体、推理引擎和推测解码,最后讲清楚本机推理为什么能更快、分数为什么会变。
目录 共 9 篇
- 01 本地大模型架构与推理框架详解:目录与阅读路线
- 02 第 1 章 从 BERT 到今天的大模型:哪些东西变了
- 03 第 2 章 本机模型的架构拆解:Qwen3.8-27B、Flash-Next 和它们的“亲戚”
- 04 第 3 章 量化详解:把 16 位的权重压到 3~6 位,为什么还能用、为什么会更快
- 05 第 4 章 微调变体与后训练:Swift、ThinkingCap、Signal 们到底改了什么
- 06 第 5 章 推理引擎:和 BERT 时代的推理框架有什么不同
- 07 第 6 章 推测解码:MTP、EAGLE、DFlash2 为什么能让解码快 2–3 倍还不掉分
- 08 第 7 章 为什么能更快、为什么分数会变:把前几章串起来
- 09 第 8 章 参考资料汇总
随笔 共 1 篇
最后更新于

