Claude Fable 5.1 幫我做了一隻超棒的會動鵜鶘
原文由 Simon Willison 于 發布,訂閱此部落格
今天是 Claude Fable(與 Mythos)5.1 發表日。Anthropic 表示 Fable 5.1「為程式開發、知識工作與長時間的問題解決任務樹立了新標準」。官方公告花了不少篇幅談科學研究,宣稱在全新推出的 Terminal-Bench-Science 0.1 基準測試中拿下 52.6% 的分數(於 8 月 27 日首次公布),大幅超越 Fable 5 的 24.7%、Opus 5 的 29.0% 以及 GPT-5.6 Sol 的 22.4%。其他基準測試的分數也有小幅提升,但沒有一項像 Science 這項這麼亮眼。
但牠畫鵜鶘的本事如何呢?
早在 7 月我就寫過,我對鵜鶘基準測試漸漸失去信心——它與模型在其他任務上表現的關聯,似乎不像 2025 年時那麼強了。現在我從這個測試中得到最有意思的觀察,反而是同一模型家族內的比較,尤其是同一個提示詞在不同推理強度下的表現差異。
Fable 5.1 提供了五種推理強度:low、medium、high、xhigh、max——而且完全沒有關閉推理的選項。
我修掉了 一個問題,這個問題會導致 llm-anthropic 無法正確記錄推理過程,然後跑了幾次提示詞測試。
這裡是所有推理強度下完整的鵜鶘圖,每一張都附有完整的推理過程紀錄。我在這裡全部重現如下:
低階與中階,兩者都沒有推理?
接下來有點玄。這是我用強度 low 跑出來的結果:

紀錄中完全沒有顯示任何摘要後的推理 token,輸出 token 數為 1,998。以 Claude 來說,這個輸出 token 數是包含推理 token 的。這次花了 23.8 秒,成本為 10.017 分美金。
我把強度調高到 medium,得到這個結果:

奇怪的是,這一張同樣沒有顯示任何推理文字,而且用了 1,977 個輸出 token——比 low 還少了 21 個 token。花了 23 秒,成本為 9.912 分美金。
所以,就這個特定提示詞(「Generate an SVG of a pelican riding a bicycle」)而言,Fable 5.1 在 low 和 medium 兩種設定下似乎完全跳過了推理。
高
這是 high 的結果——29.6 秒、2,612 個輸出 token,13.087 分美金:

這一張確實有做一點推理,摘要在此:
我正在規劃一張騎腳踏車的鵜鶘的 SVG 版面,背景包含天空與地面,腳踏車有兩個帶輻條的輪子、車架、座墊與把手,上方則是一隻白色身體、長脖子、橘色喙的鵜鶘。
其實跟 low 和 medium 沒什麼差別。
超高
在 xhigh 時情況就完全不一樣了。36,767 個輸出 token、耗時 7 分 51 秒,$1.83!

推理過程相當長,其中包含像這樣的細節:
加上眼睛、向下延伸至把手握把的翅膀、伸向踏板的橘色雙腿,以及一小撮尾羽,同時為了喜劇效果刻意讓鵜鶘比腳踏車大上許多。[...]
我會把這點厚度當作一種可愛感,而不去過度雕琢。
最高
把強度設為 max 後,我得到了在 Anthropic 所有模型中看過最棒的一隻鵜鶘。65,927 個輸出 token、耗時 13 分 54 秒,$3.30:

這張有很多可圈可點之處。背景很雅致,雙腿清楚地分在車架兩側,雙腳踩在踏板上,翅膀搭在把手上,鵜鶘戴著可愛的藍色帽子,還有一個裝著魚的籃子。
它展現的風格感還是遠不及 Gemini 3.7 Flash,但我本來就沒要求要什麼風格感——我只要求一個 SVG,而它確實給了我一個。
那段推理過程中的一些亮點:
在雙腳附近加上踏板形狀,其中第二條腿上的遠側腳在車架後方若隱若現。我在考慮是否要加一條小圍巾或帽子來增加特色,但傾向保持簡潔以避免雜亂。
現在我在猶豫,頭上到底要戴腳踏車安全帽,還是保留鵜鶘標誌性的羽冠——喙和喉囊已經能清楚辨識出是「鵜鶘」,所以安全帽可以強化腳踏車主題又不會失去辨識度,不過可能會跟羽冠在視覺上互相搶戲。
我發現位於 (484,84) 的喙會跟圓頂安全帽重疊,所以需要把安全帽縮小,讓它只蓋住頭頂,調整弧線的端點讓它更高、更窄,這樣喙才能在前方乾淨地接合而不碰撞。[...]
我加上較深的尖端區域來呈現初級飛羽,然後重新考慮後緣,改用扇形的羽毛曲線而非一條平滑的線條,以呈現更自然的外觀。[...]
現在我在檢查安全帽上通風孔線條的位置,確認在考量線條寬度與圓角端點後,它們是否距離安全帽邊緣夠內側,並確認每個通風孔都落在安全帽的圓形範圍內。[...]
我決定省略把手上的鈴鐺和輪胎的反光,因為這些是不必要的添加。現在我在重新考慮前叉的曲線——目前的控制點把形狀往後拉,但為了呈現正確的前傾角,應該要向前彎曲,所以需要把控制點往右移來修正前叉的傾斜。
好,來讓牠動起來吧
在 Hacker News 上,swalsh 針對那隻 Max 鵜鶘留言說:
既然這個基準測試已經被攻克了,能不能來個會動的版本?
我不想再花 3 美元,所以就把那隻 Max 鵜鶘直接丟給預設思考等級 High,並下了指令:
llm logs -cx | llm -m claude-fable-5.1 -s 'animate this'6,121 個輸入、26,201 個輸出 = $1.37。結果長這樣,這裡匯出成影片,因為有些人看 animated SVG 會有問題:
影片中的輪子轉動方向是反的,但我認為那是轉成 MP4 時產生的假影——在原始的 SVG 中,輪子看起來轉動方向是正確的。
隨機一篇部落格
留言
登入後參與討論