跳至内容
交叉核验与代码级审计记录(`verifier` 独立审计报告)

交叉核验与代码级审计记录(`verifier` 独立审计报告)

所属专题:LLM 网关配置调研:缓存与难度路由

一、这个 PASS 究竟通过了什么?

原调研接受了四份分册的修订稿:它们达到了当时的交付标准。核的是“报告有没有把这版实现读对”,不是“网关在线上一定更快、更省钱”。下面先交代证据,再看哪些判断真的被打回。

  • 静态核读:本体与插件分别按 70f4593、75e91f5(插件 v0.3.0)对读;生态线主要依靠特定版本的代码、公式与模块调用关系。这里能说明分支用什么量决策,不能给出真实账单或质量提升比。
  • 本地单测:原审计记录了测速插件的 6 个用例通过(该次总耗时 207.76 ms)。这是测试程序花的时间,不是模型响应时间;没有同机同负载的网关对跑,也没有商业 API 长周期收费压测。
  • 其余证据:仓库元数据及归档状态是当日快照;文献路线不冒充已读实现。涉及闭源模型的预算更新行为来自项目注释,而非厂商规范或本次黑盒复测。

二、打回的地方:输入、约束和输出,错一项就不是同一个功能

初稿怎样说静态核读后怎样改为什么值得改
NadirClaw 根据质量与成本自动生成配置YAML 档位是预先写好的。selector.py 在运行时用难度和成本排名选初始节点,这条路径没有读取 tier.quality同一套档位里选谁先答,与替你造出一套新档位,是两件事
Vidur 按下游 TTFT/TBT 的目标找最大 QPScapacity_search.py 对照的是请求调度延迟的指定分位数;TTFT/TBT 在下游画帕累托曲线时才出现队列里等多久不等于用户多久看见第一个字
libCacheSim 扫工作集的 0.0001..0.3自动候选是 0.001, 0.003, 0.01, 0.03, 0.1, 0.2, 0.4, 0.8 倍工作集,再按对象数筛选连候选上界都不同,就不能拿原区间解释图线
RouteLLM 的 BERT 和生成式路由都用 1~5 分生成式路由才使用评分提示及阈值;BERT 读分类概率。校准分位数控制的是验证样本中送强模型的请求比例能控制请求数占比,不代表控制了美元占比
Claude Code 的旧分发方案是多模型投票原项目描述的是一个小模型把请求分去四个角色模型分类一次与多次作答的成本完全不同
历史大于 64 KiB 就切换调用方式该例只适用于一类带客户端缓存标记的内部分类请求,计算到最后一个标记,不适用于普通会话一个有前提的分支不能充当全站阈值
Magpie 的分类输入范围和内置策略数没有对齐实现对读输入截取函数,区分当前文本和历史摘要;另按策略定义核得 11 个内置策略,并校正用量与预算估算的符号输入窗口、估算值和枚举表要看不同文件

原稿还把三处细节改正了:语义路由器的亲和上限是 0.14,信号按当时定义计 20 类;Bifrost 区分现用分类器与弃用路径;另一款路由器的处理链实际是六步。它们是版本细节,不是性能排名。

插件没被打回,为什么仍要看它的反例?

审计对照注释和实现,发现隐藏思考耗时采用 22 ms/token 和 78% 上限,慢请求门槛也以实际分支(总时长 18 s 或首字 13 s)为准,而非旧注释。前者仍是估算。单题关键词判分可能把复述题面当成答对;它不测模型准确率。更直观的是排序:7 次调用的高分模型在服务端可以领先,页面却把至少 8 次调用的项排在前面。两张榜不一样,不必先怀疑模型变慢了。

附录:四线签收与交叉阅读

公开分册当时的签收记录两份报告放在一起该看什么
本体:Magpie初审打回,修订轮 #12,复审 #14 通过本体按会话历史回放窗口与 TTL;不分配 GPU 的 KV 字节
插件:Speed Lab#9 通过读遥测、排名,不写回路由;不能把本体的功能算给插件
生态 A:难度路由#18 打回,#19 修订,#20 通过单轮胜率与长上下文亲和解决的是不同的决策
生态 B:缓存与自动配置器#16 打回,#17 通过对容量扫频、估服务指标和在线选路,优化对象各不相同

原记录把三条线的修订合计为八项实质偏差,另记三项精度修订;插件的四项注释、打分和排序差异单列。这个计数是交付过程的记录,不是检出率。

本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。

最后更新于