跳至内容
大模型推理的微观生产函数与架构经济学

大模型推理的微观生产函数与架构经济学

所属专题:LLM Token 经济学

导读:模型、精度、上下文、批量、缓存和延迟目标共同决定交付能力;成本在此基础上形成,再通过竞争、容量和合同进入价格。需求又会改变负载、缓存重用和拥堵,反过来影响成本。本文沿着这个反馈关系分析推理服务:先确定可行交付,再核算成本,最后识别价格传导的条件。

1. 多资源约束下的生产函数

设某个明确部署单元的有效产出为满足质量与服务目标的 Token 数量:

Qtok=f(K,BHBM,MHBM,Bnet;A,S,SLO).Q_{\mathrm{tok}}=f(K,B_{\mathrm{HBM}},M_{\mathrm{HBM}},B_{\mathrm{net}};\mathcal A,\mathcal S,\mathrm{SLO}).
  • KK 是指定精度、稠密/稀疏模式下的峰值运算速率;BHBMB_{\mathrm{HBM}}、MHBMM_{\mathrm{HBM}} 分别是显存带宽和容量;BnetB_{\mathrm{net}} 是有关通信路径的有效带宽。
  • 架构 A\mathcal A 包含总权重、每阶段激活参数、注意力形式、专家路由与数值格式。总参数决定存储需求的重要部分,激活参数近似影响算术开销,二者不能互代。
  • 工作负载 S\mathcal S 包含输入/输出长度分布、到达过程、前缀重用和并发;SLO 包含首字延迟 TTFT、输出间隔 ITL/TPOT 的分位数及错误率。

固定工作负载下,可以用互补投入的瓶颈模型近似生产过程。改变模型、工作负载或 SLO 后,需要重新测量每卡时的有效产出;CPU 调度、网络、内核启动或系统故障也可能成为瓶颈。工程分析因此提供的是一组有条件的交付前沿,而不是跨场景恒定的换算率。

2. Roofline 与输入、输出的不同成本

2.1 Roofline 是上界

算术强度 II 为 FLOP/byte,性能 PP 为 FLOP/s:

Pactual(I)≤min⁡(K,BHBMI),I∗=K/BHBM.P_{\mathrm{actual}}(I)\le\min(K,B_{\mathrm{HBM}}I),\qquad I^*=K/B_{\mathrm{HBM}}.

右端是理想上包络,不是工程实测值。当 I<I∗I<I^* 时,内核可能受显存带宽限制;当 I≥I∗I\ge I^* 时,计算峰值成为该模型中的上界,但其他瓶颈仍可能使实际性能更低。

以 NVIDIA 官方 H100 SXM 规格为例,80 GB HBM3、3.35 TB/s,对应不计结构化稀疏加速的 BF16 Tensor 峰值约 989 TFLOP/s,得到 I∗≈295I^*\approx295 FLOP/byte。它不是单流推理吞吐,也不是 MFU 实测。跨代比较必须固定数值精度、稀疏条件、芯片/整机边界;不能把 BF16 稠密峰值与 NVFP4 稀疏宣传峰值直接相除。

2.2 Prefill 与 Decode 的简化模型

在稠密线性层、权重只读一次且暂略激活读写的近似下,一批 NinN_{\mathrm{in}} 个输入词元的算术强度约为:

Iprefill≈2NinPact,inbwPact,in=2Ninbw.I_{\mathrm{prefill}}\approx\frac{2N_{\mathrm{in}}P_{\mathrm{act,in}}}{b_wP_{\mathrm{act,in}}}=\frac{2N_{\mathrm{in}}}{b_w}.

若批量足够大且注意力和通信开销不主导,平均每输入词元分摊的机器时间近似为:

τˉin≈2Pact,inηcK.\bar\tau_{\mathrm{in}}\approx\frac{2P_{\mathrm{act,in}}}{\eta_cK}.

其中 bwb_w 是每权重字节数,ηc\eta_c 是计算效率。短输入、小批量或超长注意力下,不能假设 Prefill 一定 compute-bound。

对于解码批量 BB,设本步实际搬运的权重为 WBW_B 字节、每会话实际读取的历史状态为 DKVD_{\mathrm{KV}} 字节,则较一般的近似为:

Idecode≈2BPact,out+FattnWB+BDKV+Dother.I_{\mathrm{decode}}\approx\frac{2BP_{\mathrm{act,out}}+F_{\mathrm{attn}}}{W_B+BD_{\mathrm{KV}}+D_{\mathrm{other}}}.

MoE 中 WBW_B 取决于整批访问的专家并集、分片和缓存,通常不能机械写成单词元激活参数乘字节数。稀疏注意力下实际读取的 KV 也不等于全部存储的 KV。

若进一步假设带宽主导、WB≈bwPact,outW_B\approx b_wP_{\mathrm{act,out}}、全注意力 DKV≈LˉmKVD_{\mathrm{KV}}\approx\bar Lm_{\mathrm{KV}},得到平均分摊时间:

τˉout≈bwPact,outBηbBHBM+LˉmKVηbBHBM.\bar\tau_{\mathrm{out}}\approx\frac{b_wP_{\mathrm{act,out}}}{B\eta_bB_{\mathrm{HBM}}}+\frac{\bar Lm_{\mathrm{KV}}}{\eta_bB_{\mathrm{HBM}}}.

这里单位是秒/词元。该式是稳态批次分摊近似;动态队列中多接一个请求的真正边际时间,要比较加入请求前后的调度轨迹。投机解码也会改变“一轮每会话一个词元”的基线。

2.3 从机器时间到交付成本

令两阶段机器费率为 rin,routr_{\mathrm{in}},r_{\mathrm{out}},单位货币/秒:

cˉin=rinτˉin+cother,in,cˉout=routτˉout+cother,out.\bar c_{\mathrm{in}}=r_{\mathrm{in}}\bar\tau_{\mathrm{in}}+c_{\mathrm{other,in}},\qquad \bar c_{\mathrm{out}}=r_{\mathrm{out}}\bar\tau_{\mathrm{out}}+c_{\mathrm{other,out}}.

显存容量拥堵可以另用影子价格分析:若 μM\mu_M 的单位是货币/(byte·秒),会话占用 MM 字节持续 Δt\Delta t 的机会成本是 μMMΔt\mu_MM\Delta t。这是货币,不能直接加到秒上;若租金已包含显存资源,又要避免将同一资源重复计入财务成本。

只有机器费率相同、权重读取主导而暂略 KV 读取项、忽略其他货币成本,且以上简化成立时,才有:

cˉoutcˉin≈Pact,outPact,inηcηbbwI∗2B.\frac{\bar c_{\mathrm{out}}}{\bar c_{\mathrm{in}}}\approx \frac{P_{\mathrm{act,out}}}{P_{\mathrm{act,in}}} \frac{\eta_c}{\eta_b}\frac{b_wI^*}{2B}.

例如沿用 H100 dense BF16 的示意量级,假设 I∗=295,bw=2,ηc=0.55,ηb=0.75,B=45–70I^*=295,b_w=2,\eta_c=0.55,\eta_b=0.75,B=45\text{--}70、激活参数相同,算得约 3.1–4.8。这是对所选参数的敏感性算例,不能据此证明市场输出牌价必然是输入的四倍。竞争、产品质量、容量保障和差异化收费也影响价格。

这些算式得到的是给定配置下的平均分摊成本。短期多接一个请求的增量成本、长期扩容成本和市场成交价格,需要分别分析;当前模型参数与价目快照集中见日期化数据附录。

2.4 成本怎样进入价格:三种市场情景

先固定可替代的服务:模型或任务质量、延迟、可靠性、地点、期限与责任范围。再判断买方替代选项和卖方可用容量。下表是比较机制,不是对当前全市场的分类结果。

市场情景降本后的主要调整渠道需要观察的条件与结果
容量宽松、服务可替代买方切换与竞争使较低成本转为降价、改善条款或争取订单的空间比较实际净价、替代供应商、进入速度;固定价存量合同可能延后传导
容量紧张、短期难扩张单位技术降本可先增加利润或可交付数量;新增需求也可能吸收效率收益看有效容量、排队、拒单与履约,而不只看标称 FLOPS;释放容量后的价格方向取决于供需响应
服务差异化、切换有成本企业可将节约用于降价、提高质量、增加服务或保留利润比较客户愿付费、留存、迁移成本和质量变化;较高价格与较低成本可以并存

价格传导不是一个预设常数。合同还决定谁先承受变化:固定价长约内,供应商通常先承担投入成本变化,买方可能承担未使用容量风险;按投入价格联动的合同按约定公式调整;按量 API 使买方更容易调节用量,但供应商承担的闲置风险、调价权与最低承诺仍须看条款。缓存、速度和峰谷菜单也可能同时反映真实成本差异与客户支付意愿。

因此,一个技术降本事件可以产生不同经济结果。可检验的问题是:在同质量与合同口径下,成本下降有多少体现为净价下降、更多合格交付、质量提升及供应商收益,而不是只比较两张牌价。

2.5 需求怎样反过来改变生产成本

企业先在采用边际上比较预期业务收益与服务、集成、验收及风险成本,再在使用边际上决定增加多少任务、工具调用或推理预算。成功任务成本帮助选择方案,业务价值及替代方案则决定是否采用和扩大量。

新增需求进入同一服务池后,可能分摊固定成本、形成更有效的批次或提高前缀重用;超过容量时,也可能增加排队、破坏尾延迟并要求冗余或扩容。任务之间的相关性、共享程度和截止期决定哪条作用更强。可将关系记为:

任务价值与采用 → 请求量和任务组合 → 批处理、缓存、利用率与拥堵
      ↑                                      ↓
实际净价、服务质量 ← 竞争与合同 ← 同质量交付成本与容量

箭头表示需检验的作用关系,不表示所有变量总沿同一方向变化。研究时同时报告请求结构、goodput、SLO、完整成本与实际净价,才能区分技术进步、流量变化和市场竞争。

3. KV Cache:容量、带宽与在制品

3.1 正确计算缓存体积

把活跃会话 KV 类比为在制品,有助于理解其占用容量;它不是可自由交易的通用库存,还绑定模型权重、编码、缓存布局与访问权限。以下 mKVm_{\mathrm{KV}} 均指全模型每词元缓存字节数:

mKVMHA/GQA=2NLHKVdhbKV,mKVMLA=NL(dc+dr)bKV.m_{\mathrm{KV}}^{\mathrm{MHA/GQA}}=2N_LH_{\mathrm{KV}}d_hb_{\mathrm{KV}},\qquad m_{\mathrm{KV}}^{\mathrm{MLA}}=N_L(d_c+d_r)b_{\mathrm{KV}}.

以下是数组元素的理论体积,明确取 L=131,072L=131,072(128 Ki 个词元)、BF16 元素 2 byte;不含页表、对齐、复制、量化元数据及工作区。

示例每词元字节数该长度下体积
MHA:80 层、64 KV 头、头维度 1282,621,440 byte = 2.5 MiB320 GiB ≈ 343.60 GB
GQA:80 层、8 KV 头、头维度 128327,680 byte = 320 KiB40 GiB ≈ 42.95 GB
MLA:61 层、压缩维度 512、位置维度 6470,272 byte = 68.625 KiB8.578125 GiB ≈ 9.21 GB

这三行不是同质量模型的端到端性能比较。稀疏读取可以降低注意力计算和读取量,但未必同比减少状态存储;线性注意力的固定大小递归状态也须单独计入。GB 为 10910^9 byte、GiB 为 2302^{30} byte,不能混用。

3.2 架构改变哪些资源约束

架构选择主要改变的项目测量时另需保留
分组或压缩 KV每词元状态体积和读取量压缩/重建计算、精度与元数据
稀疏注意力每步访问的位置和注意力计算索引成本,以及没有被读取但仍需保留的状态
线性与稀疏混合注意力随长度增长的状态与固定递归状态的组合各类层数、固定状态、工作区与任务质量
非对称编码—解码输入和输出阶段的激活计算及状态生成方式阶段间依赖、传输、重放与系统调度
条件记忆或主机卸载设备权重占用与主机/网络访问不同硬件的卸载支持、延迟和额外设施成本

这些选择在 GLM、Kimi、DeepSeek 的公开架构中有具体实例;型号、参数和许可版本集中在数据附录第 10 节。把模型卡中的全局 KV 字节数乘上下文长度,只得到该项数组体积,还须加入局部状态、工作区、模型权重及并发。

在简化的同长度、无共享缓存批次中,容量条件为:

BLˉmKV+Mstate+Mworkspace+Mweights≤Musable.B\bar Lm_{\mathrm{KV}}+M_{\mathrm{state}}+M_{\mathrm{workspace}}+M_{\mathrm{weights}}\le M_{\mathrm{usable}}.

分页、共享前缀、KV 量化与卸载都可以改变这些项。实际容量还应留出碎片、负载波动和故障冗余的空间,并以生产 SLO 验证可服务并发。

4. 缓存保留与定价契约

缓存将重算成本换为存储、传输和管理成本。HBM、主机内存、SSD 的延迟和单位容量成本不同,但 SSD 的容量、电力、磨损、网络、冗余与运维成本都不是零。

考虑一个待缓存的前缀,下一次访问时间分布为 F(t)F(t),生存函数为 S(t)=1−F(t)S(t)=1-F(t),危险率为 h(t)=F′(t)/S(t)h(t)=F'(t)/S(t)。设每次命中的净重算节约为 ΔC\Delta C,保留整条缓存每单位时间成本为 rMr_M,首次写入增量成本为 CWC_W。在“命中或驱逐即结束本轮”的简化模型下,选择写入且 TTL 为 TT 的净收益为:

V(T)=ΔCF(T)−rM∫0TS(t) dt−CW.V(T)=\Delta C F(T)-r_M\int_0^T S(t)\,dt-C_W.

若存在内部可微最优点,必要条件为:

h(T∗)ΔC=rM.h(T^*)\Delta C=r_M.

仍须检查二阶条件、容量约束及不缓存等边界选择。泊松到达具有常危险率,最优策略可能是立即驱逐或无限保留,未必存在有限 TTL。分层迁移要比较相邻层的增量保存收益与成本,不能把同一等式机械用于所有层。

商业上可使用三类合同:写入加价与命中折扣、读取费与存储时长费分开、自动缓存并在命中时折价。这些合同都能分担重算和驻留风险,但仅从账单条款不能唯一反推后台存储拓扑。厂商生产缓存策略也不自动构成客户可执行的保留 SLA。

案例的用途:DeepInfer 部署 Q&A 按 Agent 与 Chatbot 的重访特点采用不同保留策略,并区分全局持久 KV 与局部状态,说明 TTL 要与负载和状态类型一起设计。生产统计、缓存配置及其核验边界见日期化数据附录;这些厂商自述用于提出和校准工程问题,不代替完整成本或实收对账。

5. 专业化分工、部署规模与经济规模

连续批处理、分块 Prefill 和 PD 分离用于改善吞吐与延迟权衡。TPS=B/TPOT\mathrm{TPS}=B/\mathrm{TPOT} 是简单解码批次的核算式;TPOT 如何随批量变化由内核、网络和工作负载决定,不能预设线性恶化。

PD 分离使两个阶段使用不同的并行策略,但增加 KV 传输、路由和冗余成本。判断收益应比较完整请求路径:

TTFT=tqueue+tprefill+ttransfer+tdecode,start,ttransfer≳Dtransfer/Bnet.\mathrm{TTFT}=t_{\mathrm{queue}}+t_{\mathrm{prefill}}+t_{\mathrm{transfer}}+t_{\mathrm{decode,start}},\quad t_{\mathrm{transfer}}\gtrsim D_{\mathrm{transfer}}/B_{\mathrm{net}}.

传输时间小只是有利条件之一,不能单独证明分离优于共置。低负载下,拆成两个资源池还可能提高空置率。

生产系统可以为 Prefill 与 Decode 采用不同宽度的并行组,并按流量决定两类资源的配比。DeepInfer 的具体配置是这种专业化分工的案例,详见数据附录。评估继续扩张的收益,还应包含客户池化、存储、冗余与运营组织,而不仅是单个并行组。

需区分三个规模:

  1. 装载下限:权重和必要运行状态能否放得下,允许何种卸载或量化。
  2. 满足 SLO 的部署规模:在指定流量下达到延迟、可靠性和吞吐要求的配置。
  3. 经济 MES:在允许技术与组织选择后,长期平均成本接近最低值的产出规模。

前两者界定技术可行域,第三者需要长期单位成本曲线。把经济 MES 与相关任务市场需求、进入成本和客户替代性结合,才进入市场结构分析。

6. 量化、投机解码与任务成本

低精度格式可以减少权重容量和传输量,但块缩放元数据、混合精度层、反量化开销及任务质量损失必须计入。FP8、MXFP4、NVFP4 不能当成无条件兼容、无损且同比加速的同一格式。

投机解码用草稿与验证换取更少的目标模型串行步骤。收益取决于接受率、验证批量与资源瓶颈;动态验证还需比较其调度开销与节省的验证工作。DSpark 的特定基准同时包含正收益和负收益工作点,详见数据附录,说明优化需要按负载选择,而非统一套用一个加速倍数。

架构和软件效率提升会降低单位处理成本,但总资源需求是否增加要另外判断。定义:

Ktotal=aGPUh/tok qtok/task Ntasks.K_{\mathrm{total}}=a_{\mathrm{GPUh/tok}}\,q_{\mathrm{tok/task}}\,N_{\mathrm{tasks}}.

若 aa 减半,qNqN 增加超过两倍,总卡时才会上升。杰文斯效应是需要估计的反弹机制,不能从一次降价、Token 增长或卡租上涨直接认定。对于企业,最终应比较满足质量要求的成功任务总成本,并计入失败重试、工具费与人工复核。

7. 条件命题与可复核测量

条件预期机制检验方法
某资源确为瓶颈,优化未破坏质量/SLO放松约束扩大可行交付或降低同质量成本同负载对照,报告 goodput、功率与完整成本
需求可以池化且尚未造成拥堵更好的批处理、缓存或固定成本分摊改善经济性同技术下改变流量与相关性,观察尾延迟和单位成本
成本下降且服务可替代、合同允许调整买方竞争选择增加价格或服务条款的改善压力比较净价、质量、进入与合同更新,不只看目录价

工程模型提供可行域,成本账提供资源代价,需求与竞争模型决定量价反馈。三者使用同一质量和系统边界时,才形成可解释的经济比较。

一次成本或吞吐对比至少记录:模型与权重版本、量化格式、芯片 SKU 与数量、软件版本、并行策略、输入/输出长度分布、缓存命中分母、并发与到达过程、SLO、成功率、测试时间及完整成本边界。分别报告未命中输入、命中输入、输出和成功任务,避免把大量低成本缓存读取混成“新增生成吞吐”。

参考资料与核验边界

延伸衔接阅读

本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。

最后更新于