为 Claude Fable 5 设计「成本高效 Harness」 这种成本高效设计同样适用于 GPT-5.6 Sol,核心思路是:大多数任务的智能需求在 token 维度上是不对称的——少数 t...
AI 摘要
针对Claude Fable 5等前沿模型的高成本问题,本文提出了一种成本高效的Harness设计方法。核心思路是利用任务中token智能需求的不对称性,仅在关键位置使用Fable 5等前沿模型,其余部分委派给廉价模型。通过Orchestrator、Advisor、Verifier三种分配模式,在Parameter Golf和BrowseComp实验中,以约46%的成本实现了约90%的性能。文章总结了四条设计准则,包括审视任务形状、使用委派启发式、评估协调成本和保证prompt cache命中,为开发者提供了构建经济高效AI系统的实用框架。 核心观点: 1. Parameter Golf实验表明,前置规划无效,Fable 5的真正价值在于中段检查点提供方向纠偏与重新排序。 2. BrowseComp实验中,Fable 5编排+Sonnet worker在完整集(~31M tokens/题)上实现了96%分数/46%成本的套利。 3. 协调成本的两大来源是边界重复(跨模型token计费至少两次)和扇出重叠(worker互不通信、研究范围部分重合)。
推荐理由高信息密度,值得细读
原文
这种成本高效设计同样适用于 GPT-5.6 Sol,核心思路是:大多数任务的智能需求在 token 维度上是不对称的——少数 token 需要前沿判断力,多数 token 只需廉价执行。Harness 的价值在于识别这种不对称,在正确的位置注入前沿智能。
三种分配模式 1. Orchestrator Fable 5 担任编排者,委派廉价 worker 适用于:前期规划型 2. Advisor Fable 5 担任顾问,被低阶执行者咨询 适用于:判断散布全流程 3. Verifier Fable 5 担任验证者,检查产出 适用于:末端审查型(如 /goal 循环)
实验一:Parameter Golf Fable 5 作顾问在初始 + 2 检查点介入,Sonnet 5 作执行者跑 20 轮 ML 实验设计。以 34% token 成本拿到 Fable-solo 约 90% 的增益。 反直觉:前置规划无效——Fable 初始排序与有效方向反相关。真正价值来自中段检查点:Sonnet 5 易陷边际增益 hill-climbing,Fable 提供方向纠偏与重新排序。 结论:探索性任务中每轮结果都重塑下一步方向,判断力须散布全流程而非前置一次。
实验二:BrowseComp 多约束 Web 检索,测试委派 Sonnet worker 何时真省钱。 易子集(~0.37M tokens/题):Fable 单独更便宜,协调加价 60% 无收益。 完整集(~31M tokens/题):Fable 编排 + Sonnet worker,96% 分数 / 46% 成本,套利显现。 协调成本两大来源:边界重复(跨模型 token 计费至少两次)+ 扇出重叠(worker 互不通信、研究范围部分重合)。 临界条件:worker 吸收的 token 量须足够大,节省才能摊薄固定交接成本。且 Fable 自身 token 效率高,低 $/token 不等于真省钱——看净收益。
四条 Harness 设计准则 1. 审视任务形状——判断散布型 → 廉价执行者 + Fable 顾问;判断前置/审查型 → Fable 编排者或验证者。 2. 使用委派启发式——为 Claude 提供 worker 的"品味"与"智能"先验排序(如 theo 的模型 rank),帮助 harness 动态决定何时调用哪个模型。 3. 评估协调成本——确保委派的 token 量足够大以摊薄固定交接成本;Fable 5 自身 token 效率高,意味着"用便宜模型替代"未必真便宜。 4. 保证 prompt cache 命中——子 agent 应跨调用复用同一 worker 以累积缓存,避免每次 spawn 新 worker 重复支付 context write 费用。低 cache 命中率会直接抵消低 $/token 的成本优势。
终极走向 Fable 5 可根据任务即时自写 harness。本文提供的任务形状分析、委派成本权衡、cache 管理等考虑,正是让 Claude 自主生成"选择性施加前沿智能"的 cost-effective harness 所需的内化知识。
金句
大多数任务的智能需求在 token 维度上是不对称的——少数 token 需要前沿判断力,多数 token 只需廉价执行。
反直觉:前置规划无效——Fable 初始排序与有效方向反相关。真正价值来自中段检查点。
Fable 5 自身 token 效率高,意味着'用便宜模型替代'未必真便宜。
讨论
暂无评论。