跳至内容
资料来源与计算核验

资料来源与计算核验

所属专题:CodexRadar 帕累托图解

核对日期:2026 年 11 月 13 日,UTC+8。

主文:从零看懂帕累托图。

资料 1:用户指定的网页

地址:https://codexradar.com/#iq

作者保存了 11 月 13 日的页面快照,公开版未随附。

本次读取了目标区块的标题、三张图说明、数据表和“评分与来源”说明,未把页面上其他预览区的 DeepSWE 口径套用到本区块。

目标区块对应四题合计 150 分的数据。图表纵轴保留总分,费用和时间横轴则采用每题平均值。

站点可能更新;今天访问同一地址,不能代替当日的批次快照。

资料 2:网页内嵌的图表数据

当日提取的图表数据未随文打包;识别批次请用下面的 round_id。

从同一份网页快照的 [data-mtr-payload] 节点提取。

  • schema:codex-model-tradeoffs/2
  • round_id:codex-four-341-20261112-20c-solmax
  • 候选:8 个页面模型名、46 个模型档位。
  • 费用字段:api_equivalent_usd_per_task
  • 时间字段:end_to_end_minutes_per_task
  • 综合字段:composite_cost_index
  • 纵轴字段:score150
  • 费用、综合成本默认采用对数横轴;时间默认采用线性横轴。

图表直接读取这些未四舍五入的数值。本文实例表格为便于阅读作了四舍五入,计算和前沿判断始终使用原精度。

资料 3:公开原始结果与绘图代码

原始结果地址:https://codexradar.com/data/codex-four-task-results.json

当时以该地址返回的同批结果为输入。

绘图代码地址:https://codexradar.com/assets/model-tradeoffs.mjs?v=e31f94eee132

该网址是原站资源,并非随本文附送的绘图脚本。

对源码的核查包括:

  • frontier():按“横轴不大于、成绩不低于,而且至少一项严格更好”判定支配关系。
  • isLog() 与 chart_definitions:自动、线性、对数横轴的选择方式。
  • validFor()、annotate() 与 renderDetail():前沿按当前可见模型计算。
  • byEffort 和轨迹绘制:同一模型的档位按顺序连接。

网页访问工具能读取主页面和公开结果 JSON,但未能直接展示该 JavaScript 资源;代码是通过普通 HTTPS 请求取得并在本地检查的。浏览器连接返回 browser access host unavailable,因此没有取得网页实际截图。所有交付图均明确标为教学绘图或数据重绘。

资料 4:帕累托与支配关系的理论定义

Stephen Boyd、Lieven Vandenberghe,Convex Optimization,第 4.7 节 Vector optimization。

作者公开页面:https://web.stanford.edu/~boyd/cvxbook/

教材地址:https://www.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf

教材检索结果提供了支配关系的明确定义。本次通过网页工具完整打开大型 PDF 超时,故同时使用作者课程的可访问讲稿交叉核对,不声称已逐页读取教材。

资料 5:为什么要保留多个候选,怎样引入偏好

Stanford Engineering Everywhere,Stephen Boyd,Convex Optimization I, Lecture 07。

地址:https://see.stanford.edu/materials/lsocoee364a/transcripts/ConvexOptimizationI-Lecture07.html

相关位置讨论多目标、帕累托最优与 scalarization:先考虑多个目标,再通过偏好将它们合成标量,或者探索不同的帕累托候选。

主文中的生活例子、平方效应计算、使用步骤为针对本页面编写的原创解释,并非讲稿翻译。

资料 6:约束、噪声与重复测量

pymoo 官方文档,Preface: Basics and Challenges,作者 Julian Blank。

地址:https://pymoo.org/getting_started/preface.html

用于核对多目标通常产生一组非支配解、约束条件应先满足,以及存在随机性时可通过重复测量、均值和标准差评估稳定性等概念。

本次具体怎样核验

作者当日用本地脚本,从原始结果为每个档位另算四项:

S=0.6×秦始皇原始百分制分数+45×庞贝reward+0.225×鹈鹕原始百分制分数+22.5×糖果正确标记 S = 0.6×秦始皇原始百分制分数 +45×庞贝reward +0.225×鹈鹕原始百分制分数 +22.5×糖果正确标记

其中糖果正确标记为 0 或 1。

C=四道题成功执行记录的费用之和4 C = \frac{\text{四道题成功执行记录的费用之和}}{4} T=四道题成功执行记录的秒数之和4×60 T = \frac{\text{四道题成功执行记录的秒数之和}}{4×60} I=(C/1)×(T/10)2 I = (C/1)×(T/10)^2

再与同批网页内嵌的四个字段逐项比较,允许浮点误差小于 10−810^{-8}。作者当日的内部一致性核验:46 档均通过。这里没有重新运行模型。

注意聚合顺序:页面使用的是“平均费用 × 平均耗时的平方”,并非“先逐题计算费用 × 耗时平方,再求平均”。这两种算法一般不会产生相同结果,本文严格沿用页面方式。

随后在三张图各自的两个指标上独立求前沿,与网页保存的 full_cohort_frontiers 比较:

对比维度全部 46 档中的前沿点数与站点清单一致
成绩与费用7是
成绩与耗时14是
成绩与综合成本8是

也验证了主文使用的真实对比:

  • Terra max 对 Sol high,在成绩与三种横轴的比较中均形成支配。
  • Sol xhigh 对 Astra ultra,在费用图和综合图中形成支配,在耗时图中不形成支配。
  • Astra ultra 确实处于本批全部 46 档的耗时图前沿。

全精度导出、逐项误差、校验值和复算脚本未随公开稿提供;上述点数报告的是当日对照结果。

时间标注与核验边界

抓取时,主页面总览显示测试时段为北京时间 2026-11-12 09:00:00—10:50:43;公开原始结果中的 author_test_interval 则标注为 09:00:00—10:41:36,两处结束时间不同。因此主文只使用“11 月 12 日批次”,没有把两处时间视为完全相同。

网页图表与公开结果的 round_id 一致,并且 46 档的四项数值逐项一致;本次计算核验据此进行。这能证明本次保存数据的计算一致性,不能证明测试环境、模型路由、模型身份、外部定价或重复测试稳定性。

页面把测试放在订阅环境,把费用换算成 API 等价金额。我们核对的是站点提供的换算结果与聚合计算,没有重新核查全部官方价格,也没有读取用户订阅账单。

随主文提供的五幅图

图 1、5 是教学假设;图 2—4 用同批数据重绘,不是原站截图。读者可以看图核对支配关系;要逐档复算,还需要同一批次的未舍入输入,不能从五幅图倒推出全精度数据。

本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。

最后更新于