跳至内容
本地大模型架构与推理框架详解

本地大模型架构与推理框架详解

本地大模型架构与推理框架详解 封面

写给有 BERT 时代基础的读者:现代大模型的架构、量化、微调变体、推理引擎和推测解码,最后讲清楚本机推理为什么能更快、分数为什么会变。

2026-10 开始2026-10-17 更新AI 技术与工程
  1. 01 本地大模型架构与推理框架详解:目录与阅读路线 10 分钟
  2. 02 第 1 章 从 BERT 到今天的大模型:哪些东西变了 14 分钟
  3. 03 第 2 章 本机模型的架构拆解:Qwen3.8-27B、Flash-Next 和它们的“亲戚” 26 分钟
  4. 04 第 3 章 量化详解:把 16 位的权重压到 3~6 位,为什么还能用、为什么会更快 34 分钟
  5. 05 第 4 章 微调变体与后训练:Swift、ThinkingCap、Signal 们到底改了什么 21 分钟
  6. 06 第 5 章 推理引擎:和 BERT 时代的推理框架有什么不同 23 分钟
  7. 07 第 6 章 推测解码:MTP、EAGLE、DFlash2 为什么能让解码快 2–3 倍还不掉分 15 分钟
  8. 08 第 7 章 为什么能更快、为什么分数会变:把前几章串起来 11 分钟
  9. 09 第 8 章 参考资料汇总 18 分钟
  1. 2026-04-07 给AI Agent装上记忆:LangChain的记忆设计 4 分钟
最后更新于