Meng Shaomeng shao
看每个 task 的成本 不只看每个 token 的成本 在 chatbot 阶段,我们关注每个 token 的成本,因为它是单轮的,input 和 output 我们可以限制。 但在 agent 阶段...
AI 摘要
Shao Meng指出在agent阶段评估模型成本应关注任务总token消耗而非仅token单价,并引用DeepSeek以105倍更低成本完成基准任务。
推荐理由常规快讯,保留列表
原文
在 chatbot 阶段,我们关注每个 token 的成本,因为它是单轮的,input 和 output 我们可以限制。
但在 agent 阶段,每个 task 会经过很多轮的 loop、tool call、write code 等等,除了 token 单价,这个任务跑了多少轮,用了多少 token,影响更大。
单个任务成本: token 消耗总数 每 token 成本 cache 比例
也给我们做 agent 应用,怎么选模型,定好了计算公式。
Cline: While DeepSeek V4-Flash is significantly cheaper on price per token, this can be misleading if the overall cost per task ends up being higher due to more turns being made.
However, @ArtificialAnlys reports DeepSeek completing the same benchmark tasks as Fable at 105x lower cost.
60/100
讨论
暂无评论。