跳至内容
企业 AI 有效成本核算与算力/Token 采购指南

企业 AI 有效成本核算与算力/Token 采购指南

所属专题:LLM Token 经济学

导读:面向企业经营、架构和采购团队,先判断任务是否值得采用 AI,再比较同质量服务的完整成本,最后选择获取方式与合同。本文提供任务级有效成本、API/租赁/自部署比较、询价与预算治理方法;不预设必须自建、统一路由或锁定长约。收益判断、技术复现和合同审查须由真实任务及相应专业人员完成。


使用边界:下文成本、质量率、流量及采购阈值均为方法演示或待实测参数,不是行业调查结果。特定模型的价格、许可证、默认参数和缓存承诺须保存版本化一手文档。要核对自建门槛,先按 3.3 节求两条成本线的交点,再用 3.4 节的精确 Erlang-C 公式求满足等待约束的通道数,检查该容量能否达到拐点。

一、从业务价值到采购:先确定采用边界

AI已被用于研发辅助、知识库问答、合同审阅和经营报表等场景,但具体企业仍需验证收益、错误风险与运行条件。不能把其他场景的成功案例当作本项目已经有用的证明。

然而,当一家企业决定将 AI 从零散部门试用推向全集团规模化投产时,摆在管理层、财务部门与采购部门面前的是一组截然不同的经营管理拷问:

  1. 采购标的抉择:这项业务究竟应该按量购买公有大模型 API、租用云端专属 GPU 实例,还是采购服务器在企业内网私有化部署?
  2. 真实账单归因:全公司每月消耗多少 Token 与卡时?为什么标价最便宜的模型上线后,业务部门的综合支出与人工核对工时反而更高?
  3. 盈亏拐点测算:自建或长租算力部署开源大模型,究竟要达到多大的日均调用规模,才能跑赢直接调用商业 API?
  4. 预算与供应风控:面对模型频繁降价迭代与高峰期并发限流并存的市场,年度 AI 预算如何编制、如何锁价、如何在单一供应商停服或能力退化时保障业务不断流?

这一组问题要求将AI纳入采购与预算治理。它与工业投入品有可计量、可预算的共同点,但服务质量、责任和版本依赖不同,不能称为严格同构的标准商品。

采用与选型分成三个决策门槛,后续章节分别提供计算和验证方法:

决策门槛对照与输入通过条件及停止条件
是否采用现有人工、软件或外包流程;预期增量收益、数据权利和错误风险质量与合规达标,收益有实现路径;没有可验收需求或净收益证据时不扩大投入
采用哪种方案同任务篮子、完整账单、复核、集成和迁移成本在质量及时限约束下比较总成本;不以 Token 牌价或演示能力替代检验
扩大到什么程度实际付费使用、峰谷流量、服务容量与预算新增任务或推理预算仍带来足够收益;遇到无效调用、拥堵或质量退化时限量、回退或重新选型

工作顺序是先定义任务、验收与红线,再联合选择模型和交付架构。模型与硬件之间可以迭代,但不为既购设备倒推业务价值。有效成本用于选型,采用决策还须比较业务收益;工时释放只有转为可实现的节支或产出时,才能按相应口径计入回报。

需求也影响成本:可池化流量可能改善利用率与缓存,集中峰值可能增加冗余。第二节核算单位成本,第三节检查负载和容量约束,第四节在真实试点后选择治理与合同;附录记录增量收益和项目现金流。


二、穿透名义标价迷雾:构建“任务级有效成本(Effective Cost)”核算框架

每百万Token单价和每卡时租金是有用但不充分的采购指标。便宜模型可能因重试与复核而更贵,也可能确实更经济;需按同任务实测。以下六项成本驱动并非彼此独立,不能把所有因素机械相乘。

2.1 名义标价之外的六项成本驱动

1. 切词器(Tokenizer)效率差异与“计量汇率”折损

不同大模型底层采用不同的词表与切词算法(Tokenizer)。面对同一份包含大量工业专业术语、物料编码与中文长句的技术规范或采购合同,模型 A 可能切分为 1,100 个 Token,而中文词表压缩率较低的模型 B 则可能切分为 1,650 个 Token——在尚未讨论单价高低之前,仅底层“度量衡颗粒度”一项就造成了 50% 的计费基数差距。因此,跨模型比价必须先按企业自有语料实测换算出统一的“每千汉字/每标准文档 Token 消耗系数”。

2. 输入/输出非对称计价、提示词工程与长上下文膨胀

部分商业 API 对输入、输出及缓存分别计价;具体价差和长上下文阶梯因模型、供应商及日期而异,不能统一假定为3–5倍。在实际应用中,用户输入一句提问,后台送入计费引擎的还可能包括:

  • 长达数千字的系统提示词(System Prompt)、行业规则约束与少样本示例(Few-shot Examples);
  • 检索增强生成(RAG)从企业知识库召回的十余段技术手册切片(动辄上万 Token);
  • 多轮追问中不断滚雪球式重复计费的历史对话上下文。 采购时应核对缓存写入费、命中费、保存时间、失效条件和跨区域适用性,不能从某种存储架构推断供应商已承诺特定缓存时长。前缀亲和路由有助于缓存复用,但须与故障切换、隐私及负载均衡协调。稀疏或线性注意力不会消除全部长上下文成本:KV容量、索引、通信和时延仍可能增加。速度档位是否值得购买,应比较实测等待成本与额外账单,不能把厂商最优测速当作生产吞吐。

3. 推理预算与多步智能体调用的累积成本

  • 推理预算须按端点核对:推理 Token 是否收费、是否包含在返回的输出计数中、预算参数名称及默认值,均须按具体 API 版本核实。不能把某一模型的参数范围移植到另一模型,也不能把未核实的默认值写成采购事实。
  • Agent 成本按全部调用累加:记录工具费、失败调用和重试。若每轮等量增加上下文且不裁剪,累计输入量可随轮数呈二次增长;多轮调用本身不意味着指数增长。

4. 错误、首轮不可用与人工复核返工成本

在设备故障诊断、法务审查和工艺参数核对中,人工复核可能是重要成本,错误也可能引发安全或商业损失。但不能未经统计便称其对所有企业都是最大成本。

  • 若某低价方案单次 API 费为 ¥0.05,示意测评中首轮可用率为55%、人工复核耗时6分钟,则人工费可能远超调用费。55%不能单独推出平均2.5轮重试;仅在独立同成功率、无限重试假设下,期望总尝试次数为 1/0.55≈1.821/0.55\approx1.82;
  • 若另一方案单次API费为 ¥0.60、首轮可用率假设为92%,每个最终交付任务累计人工复核1分钟,而前一方案为6分钟,以同一人工费 ¥2/分钟 比较: CA≈0.05/0.55+6×2=¥12.09,CB≈0.60/0.92+1×2=¥2.65.C_A\approx0.05/0.55+6\times2=¥12.09,\qquad C_B\approx0.60/0.92+1\times2=¥2.65. 在上述无限独立重试与累计工时假设下,后者成本约低78%。这是说明人工成本权重的算例,不是对轻量或旗舰模型的实测;真实有限重试与漏检风险须另测,关键业务也不能默认只需快速扫视。

5. 并发限流(TPM/RPM)、首字延迟与业务阻滞成本

公有 API 和共享算力池可能受到配额、拥堵或故障影响,但低价本身不能证明其更易限流。应记录429错误、排队、超时和降级频率;对于实时质检或客户响应场景,再用业务数据估计延迟造成的损失,不能将每次超时都直接折算为停产或订单流失。

6. 数据合规隔离与模型迁移沉没成本

数据能否交给某供应商,取决于数据分类、适用规则、合同、授权与技术控制,不能仅凭“境内”“专属VPC”或“零留存”认定合规。私有化也需检查遥测、插件、备份与远程运维出口。模型迁移还要计入提示词、RAG、业务回归和培训成本。


2.2 任务级有效成本(Task Effective Cost)标准核算模型

摒弃“每百万 Token 单价”的片面视角,企业采购与财务部门应统一以**“高标准完成一次具体业务任务的综合全口径成本”**作为核心决策标尺。其标准核算方程定义为:

Ceffective(m,k)=∑j=1J(CAPI,j+Trework,jWhuman+Cother,j)∑j=1JIj,∑jIj>0C_{\text{effective}}(m,k)=\frac{\sum_{j=1}^{J}\left(C_{\text{API},j}+T_{\text{rework},j}W_{\text{human}}+C_{\text{other},j}\right)}{\sum_{j=1}^{J}I_j},\qquad \sum_j I_j>0

其中各核心参数含义为:

  • mm 为待评估的模型与部署方案组合,kk 为企业标准任务类别;
  • JJ 为同一观察期提交的任务数,IjI_j 表示任务最终是否达到约定质量;分子包含失败任务、全部重试与工具调用成本;
  • CAPI,jC_{\text{API},j} 为任务全部调用的实际账单。若价格单位是“元/百万Token”,单次账单为 (NinPineff+Nout,billedPout)/106(N_{\text{in}}P_{\text{in}}^{\text{eff}}+N_{\text{out,billed}}P_{\text{out}})/10^6;输出计数已含推理Token时,不得再次相加;
  • 首轮可用率与最终达标率分别披露。Csingle/YpassC_{\text{single}}/Y_{\text{pass}} 只在等成本、独立同成功率且允许无限重试时是期望调用费;不能替代实际重试策略与相关错误的测量;
  • Trework,jT_{\text{rework},j} 为任务jj累计人工审校与修改分钟数,包括失败任务的复核;WhumanW_{\text{human}}为全口径分钟工时费率,多岗位时分别累加;
  • Cother,jC_{\text{other},j} 包含未在API账单覆盖的基础设施分摊、工具费、可计量延迟损失、合规环境及迁移摊销;分配到同一观察期并避免重复记账,不能把自建硬件费遗漏在比较边界之外。

示意测算对比:以“制造业采购合同关键风险条款初审(单份 1.5 万字)”为例

以下是方法演示。工时费为¥120/小时;重试成本暂用独立同分布、无限重试近似,假定最终均能交付。真实采购应改用实际有限重试账单和最终达标率。

评估维度方案甲:超低价轻量 API方案乙:主流高性价比模型 API方案丙:顶级旗舰推理模型 API
单份输入/计费输出假设耗量24,000 输入 / 1,500 输出20,000 输入 / 1,800 输出22,000 输入 / 4,500 输出(含计费推理量)
名义单次 API 账单¥0.03¥0.12¥0.85
假设首轮可用率 YpassY_{\text{pass}}(不是条款漏检率)50%85%96%
每份交付的期望 API 总支出(含首轮及重试,近似)¥0.06¥0.14¥0.89
每份最终交付累计人工工时假设12 分钟3.5 分钟1.5 分钟;是否足以达到质量要求须另测
折算人工返工工时成本¥24.00¥7.00¥3.00
单份合同任务级有效总成本 CeffectiveC_{\text{effective}}¥24.06(本例最高)¥7.14¥3.89(本例最低)

这个算例说明人工成本可能改变方案排序,不证明所有高价值任务都由人工返工主导。表中暂将其他成本设为零,也没有计入未检出错误损失;真实采购须补齐。人工复核接近零时,调用费的相对权重会上升,但仍需检查最终质量、失败处理、工具和基础设施成本。

2.3 跨模型相对有效成本指数与迁移盈亏判据

在企业内部选型看板中,可选取一款中文生态成熟、支持本地部署的主流高性价比开权重模型作为基准锚(设定其有效成本指数 $= 1.00$),计算各候选方案在特定任务上的相对指数,并绑定最低质量达标率红线(例如关键业务要求质量达标率 ≥90%\ge 90\% 方可入围比价,一票否决低质低价方案)。

在两方案满足相同任务质量、成本近似稳定且忽略期内贴现的简化比较中,设预计合格交付任务量为 NN,单位有效成本 ColdC_{\text{old}}、CnewC_{\text{new}} 包含调用、复核、工具及合规等经常性成本,均不含下式另计的一次性迁移费:

ΔNetBenefit=N(Cold−Cnew)−Cmigration,fixed.\Delta\text{NetBenefit}=N(C_{\text{old}}-C_{\text{new}})-C_{\text{migration,fixed}}.

该值为正才支持本简化模型下的迁移;跨多年、质量不等或尾部风险显著时,要补现金流贴现、业务收益与风险分析。这里的 NN 是未来需要交付的可比合格任务数,不是提交次数、Token数或模型调用次数;单位运行成本已包含失败与重试,但不重复摊入另列的一次性迁移费。推广历史平均成本还需任务构成、验收及价格条件可比。


三、三种算力与模型获取路径的 TCO 拆解与盈亏平衡拐点模型

明确了任务需求与目标模型后,企业需要在三种核心基础设施获取方式之间做出财务与架构抉择:公有云 API 按量/包量采购、云端专属算力租赁托管、企业本地/自租 IDC 私有化自部署。

3.1 三种获取路径的全景特征对比

评估维度路径一:公有云商业 API 采购路径二:云端专属实例 / 算力租赁托管路径三:本地机房 / IDC 私有化自建部署
成本形态结构按量调用费为主,仍可能有承诺用量、接入、评测与治理固定费周期租赁费及运行费用,须区分包量与弹性硬件投入、资金成本及持续运维
对业务波峰波谷适应性按量计费可减少买方闲置成本,但受配额、保供和承诺消费限制弹性租赁可调整规模;固定预留仍有闲置风险自有资源短期固定,可通过排队、批处理、限流或混合云调节,不必按无约束峰值配置
数据隐私与隔离核验数据使用、留存、驻留和访问控制VPC逻辑隔离不自动等于物理独占可控制本地数据路径,但仍须审计软件和运维出口
模型迭代跟随灵活性不自行更换硬件,但切换仍需接口、质量、成本和合规回归可换权重或实例,受许可、软件、容量与迁移费用限制受既有硬件兼容性和替换成本限制,仍可更新模型与软件
内部工程与运维门槛较少基础设施运维,仍需应用、安全、评测与费用治理需要推理服务、资源调优和监控能力还需硬件、机房或托管服务管理;具体人员配置按规模决定

3.2 私有化/租赁自部署的月度真实 TCO 方程(警惕“满载吞吐幻觉”)

许多企业在测算“租卡或买卡自部署开源大模型”时,常犯一个致命算术错误:例如把实验室峰值 150 输出 token/s 乘以 86,400 秒和 30 天,算出每月约 3.89 亿输出 token,再用月租金除以这个理论产量,当成生产单价。若需求并非持续满载,分母就高估了;而按输出量算出的价格,也不能直接和含输入的 API 综合价比较。

对日间办公流量,上述算法可能高估可售或可用产出;对全天批处理业务则未必如此。应使用实测到达过程、任务长度和服务等级估计容量,不预设所有企业共享同一峰谷曲线。

严谨的自部署月度总拥有成本(TCOself\text{TCO}_{\text{self}})与单百万 Token 真实摊销成本必须计入有效负载因子(Effective Load Factor, ηload\eta_{\text{load}}):

TCOself_monthly=NGPU×Pcard_hour×720+Cstorage_net+Cops_labor+Cfacility\text{TCO}_{\text{self\_monthly}} = N_{\text{GPU}} \times P_{\text{card\_hour}} \times 720 + C_{\text{storage\_net}} + C_{\text{ops\_labor}} + C_{\text{facility}}

其中:

  • NGPUN_{\text{GPU}} 为满足目标质量与并发SLA的卡数。720小时仅表示30天示例月;真实月份使用实际小时。自购方案以资本回收年金替换租金,并另计电费;只有IT侧电量需要乘PUE,已含设施总耗电的账单不得再乘;
  • Cstorage_netC_{\text{storage\_net}} 为模型存储、向量数据库及公网/专线带宽月费;
  • Cops_laborC_{\text{ops\_labor}} 为专职或兼职基础设施运维人力的全口径分摊成本,应以实际薪酬、外包和占用工时取数;不预设统一月薪或人员比例。

该自部署集群在自然月内真正能够有效消化业务请求的产能上限并非理论峰值,而是:

Vreal_cap=TPScluster×Hmonth×3600×ηload106(百万Token/月)V_{\text{real\_cap}} = \frac{\text{TPS}_{\text{cluster}} \times H_{\text{month}}\times3600\times\eta_{\text{load}}}{10^6}\quad(\text{百万Token/月})

吞吐须是目标输入/输出任务组合下、满足延迟与质量约束的全集群实测值。输出Token/s不能直接与输入加输出总量比较;多卡吞吐也不能默认线性相加。ηload\eta_{\text{load}} 应实测,不能把12%–25%当成普遍统计。

3.3 公有 API vs 私有化自部署:调用量盈亏平衡拐点(V∗V^*)测算模型

固定任务组合与质量后,用局部线性近似 CAPI(V)=FAPI+PAPIVC_{\text{API}}(V)=F_{\text{API}}+P_{\text{API}}V、Cself(V)=Fself+vselfVC_{\text{self}}(V)=F_{\text{self}}+v_{\text{self}}V 比较成本。VV 的单位为百万 Token/月;存在包量、阶梯价或容量扩建时须分段计算,不应假定 API 总是过原点、自建总是无变动成本。

联立两条成本线,即可求得月度调用量盈亏平衡拐点 V∗V^*:

V∗=Fself−FAPIPAPI−vself(百万Token/月)V^*=\frac{F_{\text{self}}-F_{\text{API}}}{P_{\text{API}}-v_{\text{self}}}\quad(\text{百万Token/月})

其中 FselfF_{\text{self}} 包括全部固定租赁、存储、运维和设施费,vselfv_{\text{self}} 为自部署单位增量费;两者不可重复计费。上式先假定 Fself>FAPIF_{\text{self}}>F_{\text{API}} 且 PAPI>vselfP_{\text{API}}>v_{\text{self}}。若忽略API固定费与自建增量费,才退化为原先的 Fself/PAPIF_{\text{self}}/P_{\text{API}}。比较前还须固定质量、输入输出比例、缓存及失败处理口径。

同时,必须校验该拐点调用量 V∗V^* 是否落在所配卡数考虑真实峰谷负载因子后的实际承载能力之内(即要求 V∗≤Vreal_capV^* \le V_{\text{real\_cap}},否则意味着为了支撑更高并发还需扩容加卡,阶梯固定成本将再次上跳!)。

示意拐点推演:部署百亿/千亿级主流开权重模型【示意测算】

假设某制造企业拟部署一款主流中等规模开权重模型用于内部知识库与单据处理:

  • 公有云商业 API 综合均价 PAPIP_{\text{API}}:折算输入输出与缓存后约为 ¥3.0 / 百万 Token;
  • 云端租赁八卡推理整机方案:在东部低延迟节点包月租用 1 台合规八卡服务器(含电与网络约 ¥32,000 / 月),分摊 0.5 名推理运维人力与监控存储费约 ¥13,000 / 月,月度固定总成本 TCOself_monthly=¥45,000\text{TCO}_{\text{self\_monthly}} = ¥45,000。
  • 求解盈亏平衡拐点: V∗=45,0003.0=15,000(百万 Token / 月)=150 亿 Token / 月(日均约 5 亿 Token)V^* = \frac{45,000}{3.0} = 15,000 \text{(百万 Token / 月)} = \mathbf{150 \text{ 亿 Token / 月(日均约 5 亿 Token)}}

这一清晰的数字立刻终结了漫无目的的争论:

  • 若假设月调用量为5亿至30亿Token,则本例API费为¥1,500–¥9,000,低于¥45,000的自部署固定费;这不是制造业用量分布的调查结论。
  • 月用量超过150亿Token仍不充分:集群必须在目标质量和SLA下承载该用量,且新增电力、运维和扩容费已计入。没有实测吞吐,不能据此宣称单台八卡机能跨过盈亏线。

左右移动盈亏拐点 V∗V^* 的四大敏感性杠杆

  1. 区域与服务价差:若迁移后同规格全包固定费下降,且没有新增网络、合规、停机或质量成本,盈亏拐点可能左移;需可执行报价,不能预设东西部租金降幅;
  2. 商业 API 降价速度:上游模型厂商每发生一轮大幅降价(PAPIP_{\text{API}} 减小),拐点 V∗V^* 便大幅右移,延长公有 API 的经济性优势区间;
  3. 业务流量峰谷比:峰谷越尖锐,通常需要更多冗余。“自有基荷 + API 溢出”是候选方案之一,是否更优取决于配额、数据路径、切换损耗和两侧价格;
  4. 推理软件、量化与硬件适配:用相同任务、质量门槛、并发、缓存命中率和功率设置比较版本;不能将不同论文中的最优加速倍数相乘,也不能从“支持某硬件”推出迁移成本归零。部署评估应分别核验许可证、运行内存、吞吐、尾延迟、故障恢复和运维成本。微观生产函数专题已补核部分新模型与DeepInfer生产缓存资料,但厂商生产策略不是客户SLA,也不能证明本企业成本倍数,故不据此设采购红线。

3.4 在线并发排队约束(Erlang-C)下的配卡冗余与真实盈亏拐点

在线请求具有随机性,但不必服从泊松过程。以下 M/M/c 是用于说明池化效应的近似:假定平稳泊松到达、指数服务时长、独立同速通道、先到先服务、无限等待空间且无放弃。真实LLM存在连续批处理、长度相关服务时间、缓存和负载相关吞吐,应以到达日志与离散事件仿真校准;该模型不能直接保证TTFT的P95。

1. M/M/c(Erlang-C)排队延迟约束与平方根配工律(Square-Root Staffing)

设业务高峰期请求到达率为 λpeak\lambda_{\text{peak}}(req/s),单个推理服务通道(单卡或 kTPk_{\text{TP}} 卡张量并行实例)的平均响应处理速率为 μ=1/Tˉsrv\mu = 1/\bar{T}_{\text{srv}}(req/s),定义无量纲**名义话务/流量强度(Offered Load)**为 A≡λpeak/μA \equiv \lambda_{\text{peak}} / \mu(单位:Erlang)。当实际部署 cc 个并行服务通道(满足系统稳态条件 ρ=A/c<1\rho = A/c < 1)时,新到达请求被迫进入队列等待的概率 C(c,A)C(c, A) 与平均排队等待时间 WqW_q 由经典的 Erlang-C 公式给出:

C(c,A)=Acc!(1−ρ)∑k=0c−1Akk!+Acc!(1−ρ),Wq=C(c,A)cμ(1−ρ)C(c, A) = \frac{\dfrac{A^c}{c!(1 - \rho)}}{\sum_{k=0}^{c-1} \dfrac{A^k}{k!} + \dfrac{A^c}{c!(1 - \rho)}}, \qquad W_q = \frac{C(c, A)}{c\mu(1 - \rho)}

若将等待概率 C(c,A)≤10%C(c,A)\le10\%、平均等待 Wq≤0.1sW_q\le0.1\text{s} 设为示例约束,可先用 Halfin–Whitt 平方根配工给出候选通道数,再用精确公式或仿真检查。排队时长只是首字延迟的一部分;平均等待约束不等于尾延迟 SLA:

c≈⌈A+zA⌉,ρsafe(A)=Ac≈11+z/Ac \approx \lceil A + z \sqrt{A} \rceil, \qquad \rho_{\text{safe}}(A) = \frac{A}{c} \approx \frac{1}{1 + z / \sqrt{A}}

其中 zz 是需按SLA校准的参数,不能直接当正态分位数。Halfin–Whitt 是大系统渐近近似,不能代替小系统精确求解。本例取 μ=0.4\mu=0.4 req/s,要求 C≤10%C\le10\% 且 $W_q\le0.1$s:

  • A=3,z=1.8A=3,z=1.8 的平方根公式实际给出 7 个通道,不是6;精确Erlang-C搜索的最小可行数为 6,$C=9.9143%,W_q=0.08262$s。
  • A=50,z=1.8A=50,z=1.8 给出 63 个通道,正确值为 $C=5.0673%,W_q=0.009745$s;精确搜索的最小可行数为 61,$C=8.9662%,W_q=0.02038$s。以下沿用63作为带额外余量的方案,不能称为“最少63”。
  • 池化可以降低相对安全冗余,但收益取决于业务峰值的相关性、资源共享和隔离要求,并不自动使自建比API便宜。

2. 算例验算:独立部门自建 vs 集团统一池化的真实盈亏拐点偏移

设定基准参数:单个推理通道(双卡实例)含租赁、运维与电费的月度固定总成本为 ¥12,000 / 通道·月,单通道平均服务时长 Tˉsrv=2.5 s\bar{T}_{\text{srv}} = 2.5\text{ s}(μ=0.4 req/s\mu = 0.4\text{ req/s}),单次请求平均消耗 1,500 Tokens1,500\text{ Tokens},同能力外部企业级 API 综合有效单价(含缓存折算)为 PAPI=¥3.0/百万 TokensP_{\text{API}} = ¥3.0 / \text{百万 Tokens}。

核算指标方案甲:单一业务部独立租卡部署方案乙:全集团 20 部门统一网关池化
工作日高峰到达率 λpeak\lambda_{\text{peak}}1.2 req/s20.0 req/s(跨部门错峰汇聚)
高峰流量强度 A=λpeak/μA = \lambda_{\text{peak}}/\mu3.0 Erlang50.0 Erlang
本例配置的通道数 cc6个(12张卡),精确最小值;$W_q=82.62$ms63个(126张卡),含余量;$W_q=9.745$ms
给定高峰流量下的平均通道忙碌比例 A/cA/c50.0%;容量相对话务量冗余100%79.4%;容量相对话务量冗余26%,容量闲置份额20.6%
月度固定总支出 TCOfix\text{TCO}_{\text{fix}}¥72,000 / 月¥756,000 / 月(部门均摊仅 ¥37,800)
跑赢外部 API 的月调用拐点 V∗V^*240 亿 Tokens / 月($= 72,000 / 3.0$)2,520 亿 Tokens / 月(部门均摊仅 126 亿)
示例月度调用量(30天×每天8h,持续按给定到达率)15.552亿Token/月;API费 ¥4,665.60259.2亿Token/月;API费 ¥77,760
本例成本结论¥72,000固定费约为API费15.4倍¥756,000固定费约为API费9.72倍,仍未跨过盈亏线

集团月度用量为 20×8×3600×30×1500=259.220\times8\times3600\times30\times1500=259.2 亿Token;若按22个工作日,数量还会更低。在这组固定服务率假设下,即使63个通道全天满负荷,月理论产出也仅约979.8亿Token,低于2,520亿的财务拐点;在线SLA要求下可用产出更低。因此,本例只展示池化相对分散配置的成本改善,仍不支持按本组假设自建。改变服务率、质量或价格后须重新比较。

3. 企业架构与采购治理的三项条件建议

  1. 评估池化而非按固定阈值否决:比较各部门流量相关性、保密隔离要求、最低部署规模和合格任务成本,不能仅凭 A<10A<10 作普遍采购决定。
  2. 实测混合部署边界:用流量轨迹和两侧价格优化基荷配置;外部溢出还需可用配额、合法数据路径、质量回归和缓存重建时间,不能保证毫秒级无损切换。
  3. 批处理填谷须有真实需求:验证任务期限、模型兼容性、切换成本和额外电耗;不能为抬高利用率而制造无价值调用。

四、企业级 AI 用量采购与预算治理实操手册

以下是可组合的治理措施。先在代表性任务上冻结质量与成本评价口径,比较现有流程;确认增量价值后,再决定是否引入路由、集中采购或长期承诺。费用下降但验收率下降,或节约不足以覆盖新增治理成本时,应回退或缩小范围。

4.1 策略一:建立三维场景分级与多模型动态路由(Model Routing)

按任务复杂度、错误容忍度与数据边界分层测试候选方案,不预先把模型尺寸或品牌当作质量保证。下表是可组合的治理情景,不是互斥分类;同一任务可能同时高敏且复杂。若单一方案已满足全部约束且集成成本更低,无须为了路由而引入多模型。

治理情景典型制造业与实体企业业务场景示例数据边界核查候选模型与算力获取组合成本控制重点
T1 核心高敏层核心生产配方、未公开并购和内网主数据企业分级后明确数据出域限制;不在此认定法定密级满足数据边界的本地或经批准专属环境;VPC不自动等于物理独占或不出域审核日志、遥测、备份及外连,达标后再评估错峰和小模型
T2 复杂低容错层重大合同初审、复杂设备故障分析、关键经营分析代码生成按实际数据审核授权、留存与跨境;零留存协议不替代全部合规要求经任务验证的模型与专家终审;API 或专属环境由数据边界确定同时记录漏检、复核与返工,不以旗舰名称或推理预算代替质量检验
T3 高频标准作业层日报摘要、技术文献翻译、SOP 检索问答、常规工单辅助依实际数据与用途分类,并检查检索和日志路径商用 API、开权重托管或现有软件;重复前缀足够稳定时试验缓存比较检索裁剪、缓存费用、失效与命中情况,不为节省输入而丢失必要上下文
T4 海量简单批处理层发票/报价单字段提取、客服录音分类、日志清洗依据脱敏后实际重识别风险与用途分类比较轻量模型、规则方法与异步Batch接口;模型规模和折扣须按任务及供应商核对设定足够但不冗余的推理预算,比较批处理折扣、完成时限、失败重跑及存储成本;不保证夜间或Batch一律半价

4.2 策略二:定期开展“企业 AI 成本体检(AI Cost Audit)”六步闭环

在试点、主要版本或价格变更,以及约定复盘时点开展全口径成本体检;频率由风险和变化速度确定:

  1. 归拢影子账单:全面盘点各事业部、研发组自行使用信用卡或零散经费充值的 API 账号、云主机实例与 SaaS 插件订阅;
  2. 建立真实任务篮子与评价标准:覆盖高频任务及低频高损失子类,预先规定抽样、质量、时限和停止条件;不把固定任务类数当作充分覆盖,也不只依赖通用排行榜;
  3. 实测候选方案与现有基线:按预算和覆盖选择模型或非模型方案,记录全部调用、最终验收、人工复核和失败任务;开发集调参后在留出任务上比较;
  4. 识别错配浪费重灾区:揪出“用顶级推理模型做简单表格提取(杀鸡用牛刀)”、“在每次请求中重复塞入数万字未缓存背景文档”以及“使用廉价低质模型导致业务员大面积重写(隐性返工黑洞)”三类典型浪费;
  5. 重算 API 与自部署边界:代入实测流量、峰谷及两侧质量,比较候选配置;流量变化时重估,而非用当前平均量推定永久最优配比;
  6. 按净收益确定采购范围:比较集中采购的折扣、治理成本、数据隔离和供应商集中风险;通过试点才扩量,保留回退方案和复盘条件。

4.3 策略三:推行标准化询价书(RFQ)与同口径比选规范

采购部门向模型服务商、云厂商、IDC 算力商或系统集成商发标询价时,切忌只问一句“你们大模型/算力怎么卖”,否则收回的必是一堆口径各异、无法横比的宣传册。标准企业级 RFQ 应强制包含买方需求边界表与供应商必填标准回函表:

  • 买方发标须明确的 8 项需求边界:① 核心业务场景清单与预计月度总调用量(区分输入/输出均值);② 典型上下文窗口长度与是否需前缀缓存;③ 工作日高峰期并发吞吐要求(QPS / TPM)与首字延迟上限(TTFT);④ 数据安全红线(数据驻留境内、严禁用于任何模型训练、日志零留存或指定保留天数);⑤ 部署形态偏好(公有企业版 API / 专属实例 / 本地交付);⑥ 目标可用性 SLA 等级;⑦ 合同周期与结算币种发票要求;⑧ 企业测试集盲测准入门槛。
  • 要求供应商逐项对齐回复的比选要素:剔除笼统打包价,强制拆分披露输入/输出/缓存/批处理分段单价、超长上下文加价规则、并发配额硬上限与扩容单价、算力底层具体芯片与互联规格、电力与带宽全包/分计边界、上线交付周期、违约赔付比例及明确报价有效期。唯有所有供应商在同一张结构化字典里填数,采购委员会才能做出经得起审计的比选决策。

4.4 策略四:年度框架协议、双向价格保护与供应韧性条款设计

技术变化可能降低某些同任务服务的成本,局部容量约束又可能提高价格或限制交付。两者的幅度与时间均需验证,不能以固定年度降幅决定采购。固定价、浮动价和附带选择权的合同各有成本:固定价有助预算稳定,却可能放弃后续降价;浮动价保留调整空间,也暴露涨价风险。下面是可协商条款,不是供应商必然接受或对买方无成本的权利:

  1. “封顶锁价 + 公开降价自动穿透下浮”条款(Price Cap with Most-Favored / Price-Drop Pass-Through):
    • 可协商单价上限(Price Cap);总预算还须设用量、重试、工具费和容量费上限,单价封顶不能保证总支出不超预算;
    • 可协商的调价选项:明确同版本、同计费类别、同服务档位的目录降价是否传导,以及重置日和未消耗余额处理。新版本不因“定位相同”就自动可替换,须通过质量与迁移验证。将此权利与无该权利的报价、承诺量、期限及供应保障一并比较;最惠待遇条款还需按具体法域审核。
  2. 额度跨模型通用与到期展期条款:
    • 可协商在平台内不同模型或批处理服务之间使用余额,明确转换单价、退款、到期及展期规则。展期长度按预计用量和报价比较,不设统一的 3–6 个月标准;账户通用余额仍可能形成对平台的信用敞口和切换成本。
  3. 高峰并发容量预留(Provisioned Throughput)与 SLA 阶梯赔付:
    • 核心链路约定容量单位、任务范围、时延分位数、测量窗口及故障归因。TPM/RPM 是用量速率约束,不直接等于并发数;容量保障需核对合同含义。可用性阈值及抵扣是协商项,服务抵扣不等于全部业务损失得到赔偿。
  4. “模型退化/停服解约权”与双供应商热备架构(Multi-Vendor Failover):
    • 按实际迁移工期协商版本废弃通知、替代验收与解约窗口,不把 90–180 天当成普遍法定义务或默认承诺;
    • 可让一定比例流量持续验证备用供应商,比例根据成本和风险设定。需要演练备用配额、任务质量、接口差异和缓存重建;多供应商可以降低单点风险,不能保证无感切换或彻底消除锁定。

附录:企业 AI 项目 ROI 测算与立项审批标尺模板

任何外部机构宣称“引入某 AI 系统即可为制造企业刚性降本 X%”的笼统承诺均不具备财务严谨性——真实的投资回报高度取决于企业自身的数据清洁度、流程标准化水平与岗位工时结构。企业内部立项审批应坚持**“统一测算标尺、代入自有实测参数、实施里程碑复盘”**原则:

核算模块细分测算科目企业内部取数口径与审计要点
一、一次性建设投入(CAPEX / 初建费)1. 自有硬件与机房改造
2. 知识库清洗、分块与治理工程
3. 系统集成、网关开发与安全评测
区分现金支出与可资本化项目;按资产、残值和替换情景估计经济寿命,不将统一36个月当作会计规则;计入文档清洗人工
二、月度持续运营支出(Monthly OPEX)1. API或租赁费(含重试)
2. 检索、存储、网络与电费
3. 业务复核和平台运维人力
分层盲测质量与工时,样本量按错误率、置信区间及高风险子类确定;100–200条只可作初步试点示例。仅IT侧电量用PUE换算设施电量,已含设施耗电的账单不再乘PUE
三、月度可量化业务收益(Quantifiable Gains)1. 直接替代或释放的高重复性标准工时折算
2. 外部采购支出压降(如替代外部翻译、初审外包)
3. 质量缺陷漏检减少、询报价响应提速带来的增量贡献
严格区分“硬节省(实际减少外包支出或支撑业务扩量不增编)”与“软省时(员工每天零散节省 10 分钟但未转化为产出)”,财务审批优先采信硬节省
四、核心立项决策指标单次合格任务有效成本(对比人工基线)、NPV、回收期和现金跑道回收期阈值由资金约束、客户收益持续期和退出成本确定;不以未经验证的统一模型迭代周期设定行业红线。静态回收期忽略贴现及回收后的现金流,不能替代NPV与风险情景

本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。

最后更新于