跳至内容
ch15. 试验设计与证据记录:按预设标准采用、调整或停止

ch15. 试验设计与证据记录:按预设标准采用、调整或停止

所属专题:LLM Token 经济学

本章将 ch13 的评价卡变成待执行的试验方案。本书尚无真实客户实验、付费 API 对照或路由性能测量;实验设计不是实验成功。以下时间段仅为规划示例,须随数据、采购与责任要求调整。

15.1 阶段一:场景和账单审计(建议第1–3日)

选定一个具体任务,列出现行流程、采购预算或客户付费、失败损失、数据权利和替代品。写出三个支持假设与两个可能推翻方案的观察条件。

可沿用 技术报告核验教学队列,把人工流程作为基线,记录来源核查、未决事项、专家复核与最终验收。探索性账单审计用于界定问题,不当作正式留出集上的效果证明。

使用公开价格、脱敏历史账单和沙箱先建立计费映射。若安排真实付费调用,应预先设定试验预算与账户授权,并记录充值费用、余额、退款和最终账单。比较至少包括普通输入、缓存、输出、工具费用和平台费;reasoning 若包含在输出账单中不可重复计算。

OpenRouter 等最新费率应以当时条款为准,当前核验快照见 ch05。第三方网关报价、直签折扣和免费额度不能混作同一种价格。

15.2 阶段二:可证伪假设登记(建议第1–2周)

按 ch13 在正式测试前锁定任务、评价与停止规则,并记录版本和负责人。只检验拟采用的组件:没有积分需求时不启动奖励对照,没有公共基准需求时不启动指数建设。

假设需要收集的证据本书当前状态
客户有真实采用需求内部项目的持续使用与预算;对外业务的独立付费、复购及替代成本待验证
专家愿接受积分与现金/混合报酬对照的有效贡献和留存待验证
路由降低总成本同任务、同质量的配对对照,含人工与平台费用30%仅可作为候选目标,未实测
产品权利与资金流适用上游合同、数据授权、适用法域与责任分析不能由“不可提现”直接确认

5–10 家访谈可帮助发现问题,不是统计代表性证明。重点询问过去真实采购、最近失败和已用替代方案;未来口头意愿不能替代付费行为。30%、15%响应率或70%访谈拒绝等阈值如被采用,须在试验前说明业务理由,不能称行业普遍基准。

15.3 阶段三:最小原型与对照评测(建议第1个月)

工程模块

  1. 任务与验收记录:固定任务身份、版本、输入数据权利、验收标准和最终状态。
  2. 用量与费用账本:逐次记录调用、缓存类别、计费输出、工具、税和平台费用;与上游账单对账。
  3. 受控授权:按实际付款与工具权限落实预算预占、限额、幂等、超时释放、撤销、退款和审计;已有企业工具满足要求时优先复用。
  4. 专家核验与反作弊:黄金样本、盲审、来源独立性与争议处理;不能仅凭提交次数奖励。
  5. 可选余额模块:仅在采用预付或奖励权益时建设,付费、赠送和贡献奖励分开;财务配平、现金可用性与履约成本分别检查。普通法币月结可继续使用既有账务系统。

对照评测设计

  • 使用代表性任务集,将任务按难度、风险、语言和长度分层;保留独立留出集,避免在同一任务上调参又报告效果。
  • 比较现行人工或单模型基线与候选路由;尽量使用同一任务配对测试,随机执行顺序,分别测冷缓存与生产缓存工况。
  • 事先规定质量非劣门槛、重大错误、时限、最大重试次数和人工兜底政策。不能通过放弃难题来压低每个成功任务成本。
  • 记录全部失败调用、验证、返工与人工费用,同时报告任务验收率和总成本,而非只看成功任务的 API 账单。
  • 按预期差异、结果波动及严重错误的可容忍上界决定样本量。50–100 名用户只是可行性试点规模,不证明安全性或市场需求。
  • 用配对区间或适当重抽样报告不确定性;罕见重大损失不能由小样本“零事故”证明不存在。

每次比较输出同一张结果卡:基线与候选政策、任务版本、验收率、重大错误、时限、全量成本、预计交付量、迁移费用及不确定性。将其逐项对照预先登记的门槛,保留失败结果和偏离方案的原因;不要只展示节约最多的模型或任务子集。

15.4 阶段四:按证据决定采用、范围与停止

决策所需证据
推进质量与责任约束满足;内部项目有持续使用与预算依据,对外业务有独立付费/复购证据;总成本收益覆盖维护及迁移,履约义务可持续
转向一项核心假设失败但其他需求成立,例如专家只愿接受现金或客户仅需要治理工具
停止缺少实际采用与预算支持、重大质量损失无法控制、权利不成立或单位经济长期不可行

这三种结论应落实到具体组件和客户范围。核验服务有效而积分无效,可以保留服务并采用现金报酬;单模型已满足质量与成本要求,可以不增加路由;内部任务表已足够支持采购,可以不发布公共指数。试点通过只支持已覆盖的任务和负载,扩量须重新检查产能、尾部风险与现金要求。

账本借贷配平是会计结构要求,不是“无需补贴即可盈利”的证明。对外业务的付费留存须按销售周期和队列观察,不能将免费额度消费、关系客户或一次性试用当持续需求;内部治理项目则检查持续使用、授权预算与交付改善。

15.5 存量 B2B 平台专项清单

先审计既有数据库许可、客户合同、专家贡献条款及高成本人工流程。以小范围嵌入式试验验证新增价值,不能假设旧合同自动覆盖训练、转售或新支付功能。

公开行业评测前,固定任务抽样、版本、价格时点、质量与成本边界,说明自有客户样本的偏差。经营路由又发布指数时,披露潜在利益冲突、产品推荐关系和独立复核机制。

发布报告不等于取得基准地位;应观察客户是否真正用它改变采购、评估 SLA 或写入合同。

15.6 月度监测仪表盘

维度数据及边界可采取的行动
替代模型能力固定业务任务、版本、置信区间与服务约束满足非劣质量且净收益为正时再迁移
实际 API 成本价格快照、usage、缓存及全部工具账单重新估计单位经济与预算
容量与供应信用SLA、失败记录、预付款及履约状况调整备援、承诺采购和信用暴露
算力金融工具具体上市文件、成交、深度、价差、基差和保证金工具实际可用后才评估套保
支付采用独立付费商户、成功与退款交易、完整成本按客户需求接入,不以集成数替代收入
法律与数据要求适用法规、合同和实施日期修改受影响流程并记录责任

Arena 评分通常不是百分比准确率,“与榜首差小于2%”不能跨榜单使用。CFTC 一般征询不等于某合约批准,也不保证已有产品级持仓周报。链上转账、市值和实际服务收入须分开。

15.7 本章小结

本章提供从假设登记到结果卡的操作流程。只有取得客户、交付和经济数据后,才能判断采用什么、扩大到何种范围,以及应当停止什么;当前各项产品效果仍待执行验证。

**阅读导航:**上一站 ch13 评价标准;下一站 ch14 条件性试验建议。计算细节按需回查 ch16,不必在结论之后才补学方法。

本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。

最后更新于