Kimi K3 max vs. GPT-5.6 Sol max @togethercompute 团队 @zainhas 在 DeepSWE 软件工程基准上对比了 Kimi K3 max 和 GPT-5.6 Sol max，结论很客观，并没有谁前...
AI 摘要
第三方评测在 DeepSWE 基准上对比 Kimi K3 max 与 GPT-5.6 Sol max，两者各有所长：Kimi 在多次尝试（pass@2/4）、成本、Rust 和运维领域占优；Sol 在单次（pass@1）、速度、Python/TS/JS 和序列化等领域占优。任务级相关低（0.46），失败模式不同，推荐级联使用。先 Kimi 再 Sol 的级联策略可达 85.6% 解题率，成本 $7.30/任务，比单独 Sol 覆盖高 13 个百分点且成本更低，为开发者提供高效低成本方案。 核心观点： 1. pass@2/4 上 Kimi 反超 GPT，多次尝试优势明显（Kimi pass@4 89.4% vs GPT 85.8%）。 2. Kimi 成本仅为 GPT 约 55%（$4.65 vs $8.37），每 $100 解题数近 3 倍（14.7 vs 5.3）。 3. 级联策略（先 Kimi 再 Sol）实现 85.6% 解题率，成本 $7.30，比单独 Sol 覆盖高 13 个百分点。
推荐理由高信息密度，值得细读
原文
@togethercompute 团队 @zainhas 在 DeepSWE 软件工程基准上对比了 Kimi K3 max 和 GPT-5.6 Sol max，结论很客观，并没有谁前面碾压谁，在真实软件工程中各有所长，搭配使用、路由 + 级联是更优的方案。
关键数据：单次稳，多次翻盘 pass@1：GPT 72.7%，Kimi 68.5% pass@2：GPT 81.0%，Kimi 82.0%（已反超） pass@4：GPT 85.8%，Kimi 89.4%（优势更大）
成本与速度：便宜 vs 快 · 单价：Kimi ≈ $4.65 / rollout，Sol ≈ $8.37 · 单位预算产出：每花 $100，Kimi 解约 14.7 题，Sol 约 5.3 题 · 时延：Sol 中位约 17 分钟，Kimi 约 66 分钟；Kimi 步数更多，Zain 认为是模型行为，推理侧优化后端到端延迟仍有改善空间
语言与领域专长 语言 · Kimi 更强：Rust（65–60） · Sol 更强：Python / TS / JS · Go：平手（79–79）
领域（8 类中 Sol 赢 5、Kimi 赢 3） · 倾向 Sol：序列化、并发、程序分析 · 倾向 Kimi：运维工具、运行时内部 · 合规/一致性：接近抛硬币（61–59）
为何适合组合：低相关 + 不同失败模式 · 任务级相关约 0.46——成功与失败路径明显不同 · 两模型并集覆盖 108 / 113（95.6%），作者称是该基准上最好的双模型组合 · 失败形态也不同： · Sol：约 20% 失败会弄坏仓库原有测试（与其他 GPT 系类似） · Kimi：基线测试破坏较少（约 11%），但约 65% 是“差一点”——新测试过 80%+ 却未全过
实操策略：先 Kimi，再升级到 Sol 推荐级联： 1. 先跑 Kimi 2. 验证器不过，再升级到 Sol
结果：85.6% 解题率，约 $7.30 / 任务——比单独用 Sol（约 72.3%、$8.37）覆盖高约 13 个百分点，成本还更低。
也可用领域分类器直接选型；线程评论里有人问路由器实现，Zain 的核心思路是「任务分类 / 验证器驱动升级」，而非复杂三模型编排。
金句
pass@1：GPT 72.7%，Kimi 68.5%
任务级相关约 0.46——成功与失败路径明显不同
推荐级联：1. 先跑 Kimi 2. 验证器不过，再升级到 Sol
讨论
暂无评论。