大模型推理的微观生产函数与架构经济学
导读:模型、精度、上下文、批量、缓存和延迟目标共同决定交付能力;成本在此基础上形成,再通过竞争、容量和合同进入价格。需求又会改变负载、缓存重用和拥堵,反过来影响成本。本文沿着这个反馈关系分析推理服务:先确定可行交付,再核算成本,最后识别价格传导的条件。
1. 多资源约束下的生产函数
设某个明确部署单元的有效产出为满足质量与服务目标的 Token 数量:
- 是指定精度、稠密/稀疏模式下的峰值运算速率;、 分别是显存带宽和容量; 是有关通信路径的有效带宽。
- 架构 包含总权重、每阶段激活参数、注意力形式、专家路由与数值格式。总参数决定存储需求的重要部分,激活参数近似影响算术开销,二者不能互代。
- 工作负载 包含输入/输出长度分布、到达过程、前缀重用和并发;SLO 包含首字延迟 TTFT、输出间隔 ITL/TPOT 的分位数及错误率。
固定工作负载下,可以用互补投入的瓶颈模型近似生产过程。改变模型、工作负载或 SLO 后,需要重新测量每卡时的有效产出;CPU 调度、网络、内核启动或系统故障也可能成为瓶颈。工程分析因此提供的是一组有条件的交付前沿,而不是跨场景恒定的换算率。
2. Roofline 与输入、输出的不同成本
2.1 Roofline 是上界
算术强度 为 FLOP/byte,性能 为 FLOP/s:
右端是理想上包络,不是工程实测值。当 时,内核可能受显存带宽限制;当 时,计算峰值成为该模型中的上界,但其他瓶颈仍可能使实际性能更低。
以 NVIDIA 官方 H100 SXM 规格为例,80 GB HBM3、3.35 TB/s,对应不计结构化稀疏加速的 BF16 Tensor 峰值约 989 TFLOP/s,得到 FLOP/byte。它不是单流推理吞吐,也不是 MFU 实测。跨代比较必须固定数值精度、稀疏条件、芯片/整机边界;不能把 BF16 稠密峰值与 NVFP4 稀疏宣传峰值直接相除。
2.2 Prefill 与 Decode 的简化模型
在稠密线性层、权重只读一次且暂略激活读写的近似下,一批 个输入词元的算术强度约为:
若批量足够大且注意力和通信开销不主导,平均每输入词元分摊的机器时间近似为:
其中 是每权重字节数, 是计算效率。短输入、小批量或超长注意力下,不能假设 Prefill 一定 compute-bound。
对于解码批量 ,设本步实际搬运的权重为 字节、每会话实际读取的历史状态为 字节,则较一般的近似为:
MoE 中 取决于整批访问的专家并集、分片和缓存,通常不能机械写成单词元激活参数乘字节数。稀疏注意力下实际读取的 KV 也不等于全部存储的 KV。
若进一步假设带宽主导、、全注意力 ,得到平均分摊时间:
这里单位是秒/词元。该式是稳态批次分摊近似;动态队列中多接一个请求的真正边际时间,要比较加入请求前后的调度轨迹。投机解码也会改变“一轮每会话一个词元”的基线。
2.3 从机器时间到交付成本
令两阶段机器费率为 ,单位货币/秒:
显存容量拥堵可以另用影子价格分析:若 的单位是货币/(byte·秒),会话占用 字节持续 的机会成本是 。这是货币,不能直接加到秒上;若租金已包含显存资源,又要避免将同一资源重复计入财务成本。
只有机器费率相同、权重读取主导而暂略 KV 读取项、忽略其他货币成本,且以上简化成立时,才有:
例如沿用 H100 dense BF16 的示意量级,假设 、激活参数相同,算得约 3.1–4.8。这是对所选参数的敏感性算例,不能据此证明市场输出牌价必然是输入的四倍。竞争、产品质量、容量保障和差异化收费也影响价格。
这些算式得到的是给定配置下的平均分摊成本。短期多接一个请求的增量成本、长期扩容成本和市场成交价格,需要分别分析;当前模型参数与价目快照集中见日期化数据附录。
2.4 成本怎样进入价格:三种市场情景
先固定可替代的服务:模型或任务质量、延迟、可靠性、地点、期限与责任范围。再判断买方替代选项和卖方可用容量。下表是比较机制,不是对当前全市场的分类结果。
| 市场情景 | 降本后的主要调整渠道 | 需要观察的条件与结果 |
|---|---|---|
| 容量宽松、服务可替代 | 买方切换与竞争使较低成本转为降价、改善条款或争取订单的空间 | 比较实际净价、替代供应商、进入速度;固定价存量合同可能延后传导 |
| 容量紧张、短期难扩张 | 单位技术降本可先增加利润或可交付数量;新增需求也可能吸收效率收益 | 看有效容量、排队、拒单与履约,而不只看标称 FLOPS;释放容量后的价格方向取决于供需响应 |
| 服务差异化、切换有成本 | 企业可将节约用于降价、提高质量、增加服务或保留利润 | 比较客户愿付费、留存、迁移成本和质量变化;较高价格与较低成本可以并存 |
价格传导不是一个预设常数。合同还决定谁先承受变化:固定价长约内,供应商通常先承担投入成本变化,买方可能承担未使用容量风险;按投入价格联动的合同按约定公式调整;按量 API 使买方更容易调节用量,但供应商承担的闲置风险、调价权与最低承诺仍须看条款。缓存、速度和峰谷菜单也可能同时反映真实成本差异与客户支付意愿。
因此,一个技术降本事件可以产生不同经济结果。可检验的问题是:在同质量与合同口径下,成本下降有多少体现为净价下降、更多合格交付、质量提升及供应商收益,而不是只比较两张牌价。
2.5 需求怎样反过来改变生产成本
企业先在采用边际上比较预期业务收益与服务、集成、验收及风险成本,再在使用边际上决定增加多少任务、工具调用或推理预算。成功任务成本帮助选择方案,业务价值及替代方案则决定是否采用和扩大量。
新增需求进入同一服务池后,可能分摊固定成本、形成更有效的批次或提高前缀重用;超过容量时,也可能增加排队、破坏尾延迟并要求冗余或扩容。任务之间的相关性、共享程度和截止期决定哪条作用更强。可将关系记为:
任务价值与采用 → 请求量和任务组合 → 批处理、缓存、利用率与拥堵
↑ ↓
实际净价、服务质量 ← 竞争与合同 ← 同质量交付成本与容量箭头表示需检验的作用关系,不表示所有变量总沿同一方向变化。研究时同时报告请求结构、goodput、SLO、完整成本与实际净价,才能区分技术进步、流量变化和市场竞争。
3. KV Cache:容量、带宽与在制品
3.1 正确计算缓存体积
把活跃会话 KV 类比为在制品,有助于理解其占用容量;它不是可自由交易的通用库存,还绑定模型权重、编码、缓存布局与访问权限。以下 均指全模型每词元缓存字节数:
以下是数组元素的理论体积,明确取 (128 Ki 个词元)、BF16 元素 2 byte;不含页表、对齐、复制、量化元数据及工作区。
| 示例 | 每词元字节数 | 该长度下体积 |
|---|---|---|
| MHA:80 层、64 KV 头、头维度 128 | 2,621,440 byte = 2.5 MiB | 320 GiB ≈ 343.60 GB |
| GQA:80 层、8 KV 头、头维度 128 | 327,680 byte = 320 KiB | 40 GiB ≈ 42.95 GB |
| MLA:61 层、压缩维度 512、位置维度 64 | 70,272 byte = 68.625 KiB | 8.578125 GiB ≈ 9.21 GB |
这三行不是同质量模型的端到端性能比较。稀疏读取可以降低注意力计算和读取量,但未必同比减少状态存储;线性注意力的固定大小递归状态也须单独计入。GB 为 byte、GiB 为 byte,不能混用。
3.2 架构改变哪些资源约束
| 架构选择 | 主要改变的项目 | 测量时另需保留 |
|---|---|---|
| 分组或压缩 KV | 每词元状态体积和读取量 | 压缩/重建计算、精度与元数据 |
| 稀疏注意力 | 每步访问的位置和注意力计算 | 索引成本,以及没有被读取但仍需保留的状态 |
| 线性与稀疏混合注意力 | 随长度增长的状态与固定递归状态的组合 | 各类层数、固定状态、工作区与任务质量 |
| 非对称编码—解码 | 输入和输出阶段的激活计算及状态生成方式 | 阶段间依赖、传输、重放与系统调度 |
| 条件记忆或主机卸载 | 设备权重占用与主机/网络访问 | 不同硬件的卸载支持、延迟和额外设施成本 |
这些选择在 GLM、Kimi、DeepSeek 的公开架构中有具体实例;型号、参数和许可版本集中在数据附录第 10 节。把模型卡中的全局 KV 字节数乘上下文长度,只得到该项数组体积,还须加入局部状态、工作区、模型权重及并发。
在简化的同长度、无共享缓存批次中,容量条件为:
分页、共享前缀、KV 量化与卸载都可以改变这些项。实际容量还应留出碎片、负载波动和故障冗余的空间,并以生产 SLO 验证可服务并发。
4. 缓存保留与定价契约
缓存将重算成本换为存储、传输和管理成本。HBM、主机内存、SSD 的延迟和单位容量成本不同,但 SSD 的容量、电力、磨损、网络、冗余与运维成本都不是零。
考虑一个待缓存的前缀,下一次访问时间分布为 ,生存函数为 ,危险率为 。设每次命中的净重算节约为 ,保留整条缓存每单位时间成本为 ,首次写入增量成本为 。在“命中或驱逐即结束本轮”的简化模型下,选择写入且 TTL 为 的净收益为:
若存在内部可微最优点,必要条件为:
仍须检查二阶条件、容量约束及不缓存等边界选择。泊松到达具有常危险率,最优策略可能是立即驱逐或无限保留,未必存在有限 TTL。分层迁移要比较相邻层的增量保存收益与成本,不能把同一等式机械用于所有层。
商业上可使用三类合同:写入加价与命中折扣、读取费与存储时长费分开、自动缓存并在命中时折价。这些合同都能分担重算和驻留风险,但仅从账单条款不能唯一反推后台存储拓扑。厂商生产缓存策略也不自动构成客户可执行的保留 SLA。
案例的用途:DeepInfer 部署 Q&A 按 Agent 与 Chatbot 的重访特点采用不同保留策略,并区分全局持久 KV 与局部状态,说明 TTL 要与负载和状态类型一起设计。生产统计、缓存配置及其核验边界见日期化数据附录;这些厂商自述用于提出和校准工程问题,不代替完整成本或实收对账。
5. 专业化分工、部署规模与经济规模
连续批处理、分块 Prefill 和 PD 分离用于改善吞吐与延迟权衡。 是简单解码批次的核算式;TPOT 如何随批量变化由内核、网络和工作负载决定,不能预设线性恶化。
PD 分离使两个阶段使用不同的并行策略,但增加 KV 传输、路由和冗余成本。判断收益应比较完整请求路径:
传输时间小只是有利条件之一,不能单独证明分离优于共置。低负载下,拆成两个资源池还可能提高空置率。
生产系统可以为 Prefill 与 Decode 采用不同宽度的并行组,并按流量决定两类资源的配比。DeepInfer 的具体配置是这种专业化分工的案例,详见数据附录。评估继续扩张的收益,还应包含客户池化、存储、冗余与运营组织,而不仅是单个并行组。
需区分三个规模:
- 装载下限:权重和必要运行状态能否放得下,允许何种卸载或量化。
- 满足 SLO 的部署规模:在指定流量下达到延迟、可靠性和吞吐要求的配置。
- 经济 MES:在允许技术与组织选择后,长期平均成本接近最低值的产出规模。
前两者界定技术可行域,第三者需要长期单位成本曲线。把经济 MES 与相关任务市场需求、进入成本和客户替代性结合,才进入市场结构分析。
6. 量化、投机解码与任务成本
低精度格式可以减少权重容量和传输量,但块缩放元数据、混合精度层、反量化开销及任务质量损失必须计入。FP8、MXFP4、NVFP4 不能当成无条件兼容、无损且同比加速的同一格式。
投机解码用草稿与验证换取更少的目标模型串行步骤。收益取决于接受率、验证批量与资源瓶颈;动态验证还需比较其调度开销与节省的验证工作。DSpark 的特定基准同时包含正收益和负收益工作点,详见数据附录,说明优化需要按负载选择,而非统一套用一个加速倍数。
架构和软件效率提升会降低单位处理成本,但总资源需求是否增加要另外判断。定义:
若 减半, 增加超过两倍,总卡时才会上升。杰文斯效应是需要估计的反弹机制,不能从一次降价、Token 增长或卡租上涨直接认定。对于企业,最终应比较满足质量要求的成功任务总成本,并计入失败重试、工具费与人工复核。
7. 条件命题与可复核测量
| 条件 | 预期机制 | 检验方法 |
|---|---|---|
| 某资源确为瓶颈,优化未破坏质量/SLO | 放松约束扩大可行交付或降低同质量成本 | 同负载对照,报告 goodput、功率与完整成本 |
| 需求可以池化且尚未造成拥堵 | 更好的批处理、缓存或固定成本分摊改善经济性 | 同技术下改变流量与相关性,观察尾延迟和单位成本 |
| 成本下降且服务可替代、合同允许调整 | 买方竞争选择增加价格或服务条款的改善压力 | 比较净价、质量、进入与合同更新,不只看目录价 |
工程模型提供可行域,成本账提供资源代价,需求与竞争模型决定量价反馈。三者使用同一质量和系统边界时,才形成可解释的经济比较。
一次成本或吞吐对比至少记录:模型与权重版本、量化格式、芯片 SKU 与数量、软件版本、并行策略、输入/输出长度分布、缓存命中分母、并发与到达过程、SLO、成功率、测试时间及完整成本边界。分别报告未命中输入、命中输入、输出和成功任务,避免把大量低成本缓存读取混成“新增生成吞吐”。
参考资料与核验边界
- NVIDIA H100 官方规格:硬件标称上界,不是端到端测试。
- DeepSeek-V4.1-Flash 官方模型卡。
- DeepInfer 官方部署 Q&A:生产配置和性能自述,2026-11-15 核验。
- GLM-5.3-Flash 官方模型卡。
- Kimi K3.1 Pro 官方模型卡。
- DeepSeek 官方价格:仅对应核验时的型号与时间段。
- MLPerf Inference 规则:理解质量目标、场景和可比测试边界。
延伸衔接阅读
- 体系总纲:从瓦特、卡时到词元:LLM 算力与 Token 经济学的统一分析框架
- 推理层竞争条件:token 工厂:资源约束、需求组织与竞争条件
- 研发层与定价机制:大模型层的内生沉没成本、开源溢出与定价机制
- 企业并发配卡与自建拐点:企业 AI 有效成本核算与算力/Token 采购指南
本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。