Claude Fable 5.1 made me a really nice animated pelican

Simon Willison

Claude Fable 5.1 为我生成了一只非常漂亮的鹈鹕动画

原文由 Simon Willison 发布,订阅该博客

今天是Claude Fable(及 Mythos)5.1 发布日。Anthropic 称 Fable 5.1“为编程、知识型工作和长时程问题解决任务树立了新标准”。官方公告花了相当大篇幅来讲科学研究,宣称在全新推出的 Terminal-Bench-Science 0.1 基准测试上取得了 52.6% 的得分(该基准于8 月 27 日首次发布),远高于 Fable 5 的 24.7%、Opus 5 的 29.0% 和 GPT-5.6 Sol 的 22.4%。其他基准测试的分数也有小幅提升,但没有一项能像 Science 这项那样亮眼。

但它画鹈鹕画得怎么样呢?

早在 7 月我就写过,我对鹈鹕基准测试逐渐失去了信心——它与模型在其他任务上表现的关联,似乎已经不如2025 年时那么紧密。我现在从它身上获得的最有价值的洞察,是同一模型家族内部的对比,尤其是同一个提示词在不同推理强度下的对比。

Fable 5.1 有五个推理强度等级:low、medium、high、xhigh、max,而且没有完全关闭推理的选项。

我修复了 llm-anthropic一个导致推理轨迹无法被正确记录的问题,然后跑了几组提示词。

这里是全套鹈鹕,涵盖了所有推理等级,每一个都附有完整的推理记录。我会在下面逐一展示:

Low 和 medium,都没有推理?

接下来有点蹊跷。这是我在 low 强度下得到的结果:

极简扁平风格插画:一只白色的鹈鹕,长着橙色的喙,正向左骑着一辆黑色自行车,橙色的双腿在蹬踏,双翅抓着车把,身后有表示运动的线条,背景为浅蓝色。

记录中没有显示任何概括性的推理 token,输出 token 数为 1,998。在 Claude 中,这个输出 token 数是包含推理 token 的。这次生成耗时 23.8 秒,花费10.017 美分

我把强度调到 medium,得到了这个:

极简扁平风格插画:一只白色的鹈鹕,长着橙色的喙,正向右骑着一辆黑色自行车,身后有表示运动的线条,背景为浅蓝色。

奇怪的是,这一次同样没有显示任何推理文本,共用了 1,977 个输出 token——比 low了 21 个。耗时 23 秒,花费9.912 美分

所以,对于这个特定提示词(“Generate an SVG of a pelican riding a bicycle”),Fable 5.1 在 lowmedium 两种设置下似乎都完全跳过了推理。

High

这是 high 的结果——29.6 秒,2,612 个输出 token,13.087 美分

极简扁平风格插画:一只白色鹈鹕,长着橙色的喙,正骑着一辆黑色自行车,橙色的双腿在蹬踏,身后有表示运动的线条,背景为浅蓝色。

这一次确实做了一推理,概括如下

我正在规划一只鹈鹕骑自行车的 SVG 布局,包括天空和地面的背景、一辆带有两只辐条轮、车架、车座和车把的自行车,以及一只位于车上方的、有着白色身体、长脖子和橙色喙的鹈鹕。

不过,跟 lowmedium 相比,实在没什么太大差别。

Extra High

到了 xhigh,情况就截然不同了。36,767 个输出 token,耗时 7 分 51 秒,1.83 美元

极简扁平风格插画:一只白色鹈鹕,长着橙色的喙,正向左骑着一辆黑色自行车,橙色的双腿在蹬踏,身后有表示运动的线条,背景为浅蓝色。

推理轨迹相当长,其中包含了这样的细节:

加上眼睛、向下延伸至车把把套的翅膀、伸向踏板的橙色双腿,以及一小撮尾羽,同时有意让鹈鹕相对于自行车显得过大,以达到滑稽的效果。[...]

我宁愿接受这种略显粗壮的可爱感,而不是过度雕琢。

Max

将强度设为 max 后,我得到了在 Anthropic 所有模型中见过的最棒的一只鹈鹕。65,927 个输出 token,耗时 13 分 54 秒,3.30 美元

极简扁平风格插画:一只白色鹈鹕,长着橙色的喙,正骑着一辆黑色自行车,橙色的双腿在蹬踏,身后有表示速度的运动线条,背景为浅蓝色。

这只鹈鹕有很多可圈可点之处。背景很雅致,双腿清晰地分列在车架两侧,双脚踩在踏板上,翅膀搭在车把上,鹈鹕还戴着一顶可爱的蓝色帽子,车筐里还有一条鱼。

它展现出的灵气仍远不及Gemini 3.7 Flash,但我本来就没要求什么花哨效果——我只是要一个 SVG,而它也确实给了我一个。

这次推理记录中的一些亮点:

在双脚附近添加踏板形状,其中第二条腿上的远端脚在车架后方部分可见。我在考虑是否要加一条小围巾或小帽子来增添个性,但倾向于保持简洁以避免杂乱。

现在我在纠结,是给头部戴上自行车头盔,还是保留鹈鹕标志性的羽冠——喙和喉囊已经能让人清楚认出这是“鹈鹕”,所以头盔可以强化自行车主题而不会让人认不出来,不过它可能会与羽冠在视觉空间上产生冲突。

我意识到位于 (484,84) 的喙会与圆顶头盔重叠,所以需要把头盔缩小,让它只覆盖头顶,调整其弧线端点使其更高、更窄,这样喙才能在前端干净利落地衔接而不发生碰撞。[...]

我正在添加一块颜色更深的尖端区域来表现初级飞羽,然后重新考虑后缘,改用扇形的羽毛曲线来代替一条平滑的直线,以获得更自然的外观。[...]

现在我在检查头盔上通风口线条的位置,确保考虑到描边宽度和圆角端点后,它们与头盔边缘保持足够的内缩距离,并确认每个通风口都保持在头盔的圆形边界之内。[...]

我决定省去车把铃铛和轮胎高光,因为这些是不必要的添加。现在我在重新考虑前叉的弧度——当前的控制点把形状向后拉,而为了形成正确的前倾角,它应该向前弯曲,所以我需要将控制点向右移动来修正前叉的倾斜。

好,来让它动起来

在 Hacker News 上,swalsh 针对那只 Max 鹈鹕评论道

既然这个基准测试已经被攻克了,能不能来个动画版?

我不想再花 3 美元,于是直接拿那只 Max 鹈鹕的成果,通过管道传给默认思考强度为 High 的模型:

llm logs -cx | llm -m claude-fable-5.1 -s 'animate this'

输入 6,121,输出 26,201,共计1.37 美元。结果是这样的,由于有些人无法正常查看动画 SVG,这里将其导出为视频:

视频中车轮的旋转方向反了,但我觉得那只是转换成 MP4 时产生的瑕疵——在原始 SVG 中,它们看起来是朝正确方向转动的。

本文章由 muse-spark-1.2-contributor 进行翻译

评论