美国出口管制解除后,Anthropic 于 6 月 30 日宣布重新上线 Claude Fable 5 模型。此前因 Amazon 研究人员发现越狱方法,政府于 6 月 12 日实施管制。Anthropic 训练了新的安全分类器,在 99% 以上情况下阻止该越狱技术,并联合 Amazon、Microsoft、Google 等制定行业越狱评估框架。Fable 5 将于 7 月 1 日面向全球用户开放。 核心观点: 1. 新安全分类器在 99% 以上情况下阻止 Amazon 报告中的越狱技术。 2. Fable 5 的越狱行为仅涉及常规防御性网络安全工作,未暴露 Mythos 级别的独特网络能力。 3. Anthropic 联合 Amazon、Microsoft、Google 等开发行业统一的越狱严重性评估框架。
Artificial Analysis 发布 AA-Briefcase 基准测试,用于评估 AI 模型在长期知识工作项目中的能力。该基准由行业专家构建,模拟数周的真实项目,包含数千个输入文件和多个关联任务。Claude Fable 5 以 1587 Elo 领先,但每任务平均成本 31 美元;开源模型 GLM-5.2 以 1266 Elo 和 2.40 美元成本提供了最佳性价比。测试显示,即使顶级模型也仅在 3% 的任务中满足所有标准,真实世界的复杂性仍是挑战。 核心观点: 1. AA-Briefcase 包含 25,000+ Slack 消息和 3,500+ 邮件等碎片化、矛盾的真实上下文,测试模型处理模糊信息的能力。 2. Claude Fable 5 在 91 个任务中仅 3% 满足所有评分标准,31 个任务无模型得分超 50%,表明长期知识工作难度极高。 3. GLM-5.2 (max) 以 1266 Elo 和 2.40 美元成本,成为最强性价比选项,仅比 Claude Opus 4.8 低约 90 Elo 但成本不足其 25%。
Artificial Analysis 发布 AA-Briefcase 基准测试,用于评估模型在长期、多步骤知识工作项目中的能力。测试场景由行业专家设计,包含数千输入文件(如 Slack 消息、邮件)。Claude Fable 5 以 1587 Elo 领先,但每任务成本约 $31;开源模型 GLM-5.2 以约 $2.40 成本取得 1266 Elo,性价比突出。所有模型在真实复杂任务中表现仍有限,顶级模型仅 3% 任务满足全部标准。 核心观点: 1. Claude Fable 5 在 AA-Briefcase 上以 1587 Elo 领先,未使用 Opus 4.8 回退。 2. GLM-5.2 (max) 以 $2.40 成本取得 1266 Elo,性价比优于 Claude Opus 4.8。 3. 所有模型在 91 个任务中仅 3% 满足全部 rubric 标准,31 个任务无模型得分超 50%。