今日はClaude Fable（そしてMythos）5.1の日です。Anthropicによれば、Fable 5.1は「コーディング、ナレッジワーク、そして長時間にわたる問題解決タスクにおいて新たな基準を打ち立てる」そうです。発表では科学研究にかなりの紙幅が割かれており、新たに登場したベンチマークTerminal-Bench-Science 0.1（8月27日に初めて発表）で52.6%のスコアを達成したと謳っています。これはFable 5の24.7%、Opus 5の29.0%、GPT-5.6 Solの22.4%からの大幅な向上です。その他のベンチマークでもスコアはわずかに向上していますが、Scienceほど印象的なものはありません。

しかし、ペリカンはどれくらい上手に描けるのでしょうか。

7月に書いたように、私はペリカンベンチマークへの信頼を失いつつありました。他のタスクでのモデルの出来との相関が、2025年当時ほどは強くなくなってきたように感じられたのです。今ではこのベンチマークから得られる最も面白い知見は、モデルファミリー内での比較、とりわけ同じプロンプトを異なる推論努力レベルで比較したものだと考えています。

Fable 5.1には5つの推論レベルがあります。low、medium、high、xhigh、maxの5つで、推論を完全にオフにするオプションはありません。

llm-anthropicで推論トレースが正しく記録されない不具合を修正し、いくつかプロンプトを実行してみました。

すべての推論レベルでのペリカンの全セットは、完全な推論トランスクリプト付きでこちらにあります。ここでも再掲します。

lowとmedium、どちらも推論なし？

次はちょっとした謎です。effortをlowにして得られたのがこちらです。

トランスクリプトには要約された推論トークンがまったく表示されず、出力トークン数は1,998でした。Claudeではこの出力トークン数に推論トークンが含まれます。かかった時間は23.8秒、コストは10.017セントでした。

これをmediumに上げてみたところ、こうなりました。

奇妙なことに、こちらも推論テキストなしと表示され、出力トークン数は1,977でした。lowより21トークンも少ないのです。かかった時間は23秒、コストは9.912セントでした。

つまり、この特定のプロンプト（「自転車に乗ったペリカンのSVGを生成して」）に関しては、Fable 5.1はlowとmediumの両設定で推論を完全にスキップしたように見えました。

High

こちらがhighです。29.6秒、出力トークン数は2,612、13.087セントでした。

こちらは少しだけ推論が行われていました。要約はこちらです。

自転車に乗ったペリカンのSVGレイアウトを計画しています。空と地面の背景、スポーク付きの車輪が2つある自転車、フレーム、サドル、ハンドル、そしてその上に配置される長い首とオレンジ色のくちばしを持つ白い体のペリカンを想定しています。

とはいえ、lowやmediumと比べてそれほど大きな違いはありませんでした。

Extra High

xhighでは状況が劇的に変わりました。出力トークンは36,767、所要時間は7分51秒、$1.83でした！

推論トレースはかなり長く、次のような詳細も含まれていました。

目を追加し、翼をハンドルのグリップまで伸ばし、オレンジ色の脚をペダルまで届かせ、小さな尾羽も加えつつ、コミカルな効果を狙ってペリカンを自転車に対して意図的に大きめに保っています。[…]

わずかな厚みは過剰に作り込むよりも、むしろ味として受け入れることにします。

Max

effortをmaxにすると、これまで見たAnthropicのモデルの中でも最高のペリカンが得られました。出力トークンは65,927、所要時間は13分54秒、$3.30でした。

この出来には気に入る点がたくさんあります。背景は上品で、脚はフレームの両側にきちんと分かれており、足はペダルに、翼はハンドルにかかっています。ペリカンはかわいい青い帽子をかぶり、魚の入ったカゴまで付いています。

それでもGemini 3.7 Flashほどの華やかさには遠く及びませんが、私は華やかさを求めたわけではありません。求めたのはSVGであり、得られたのはまさにそれでした。

その推論トレースからのハイライトをいくつか紹介します。

両足の近くにペダルの形状を追加し、フレームの向こう側に隠れる奥側の足も部分的に見えるようにしています。ちょっとしたスカーフや帽子でキャラクター性を加えることも考えましたが、ごちゃごちゃするのを避けるためシンプルに保つ方向に傾いています。

今度は、頭に自転車用ヘルメットを被せるか、ペリカンらしいトサカを残すかで迷っています。くちばしと喉袋ですでに「ペリカンらしさ」は十分に伝わるので、ヘルメットで自転車のテーマを強調してもアイデンティティは失われないかもしれませんが、トサカと視覚的に競合する可能性もあります。

くちばしが（484,84）の位置にあるとドーム型ヘルメットと重なってしまうことに気づいたので、くちばしが前面で干渉なくきれいに付くように、ヘルメットを小さくして頭頂部だけを覆うようにし、アーチの端点をより高く狭く調整する必要があります。[…]

初列風切を表すために先端に濃い色の領域を追加しつつ、尾縁を1本の滑らかな線ではなく、ホタテ貝のようなカーブを描く羽毛の形にして、より自然な見た目にしようかと考え直しています。[…]

ヘルメットの通気口のラインの配置を確認しています。線の太さや丸い先端を考慮してヘルメットの縁から十分内側に入っているか、そして各通気口がヘルメットの円形の境界内に収まっているかを確認しています。[…]

ハンドルのベルやタイヤのハイライトは不要な追加なので省くことにしました。今度はフロントフォークのカーブを見直しています。現在の制御点では形状が後ろに引っ張られてしまっているので、前傾（レーキ）を正しく表現するために制御点を右にずらしてフォークの傾きを修正する必要があります。

さあ、アニメーションさせてみよう

Hacker Newsでは、件のMaxペリカンに対してswalshがこうコメントしていました。

ベンチマークはもう攻略されたのだから、アニメーションバージョンも見せてもらえるかな？

もう3ドルも使いたくなかったので、Maxのペリカンをそのままデフォルトの思考レベルであるHighに流し込みました。

llm logs -cx | llm -m claude-fable-5.1 -s 'animate this'

入力6,121、出力26,201で$1.37でした。結果はこんな感じになりました。アニメーションSVGをうまく表示できない人もいるため、ここでは動画として書き出しています。

動画では車輪が逆方向に回転していますが、これはMP4への変換によるアーティファクトだと思います。元のSVGでは正しい方向に回っているように見えます。