오늘은 Claude Fable(그리고 Mythos) 5.1 데이다. Anthropic은 Fable 5.1이 “코딩, 지식 작업, 그리고 장시간 문제 해결 과제에서 새로운 표준을 제시한다”고 말한다. 발표문은 과학 연구에 상당한 분량을 할애하며, 새로 공개된 Terminal-Bench-Science 0.1 벤치마크(8월 27일에 처음 공개)에서 52.6%라는 점수를 자랑한다. Fable 5의 24.7%, Opus 5의 29.0%, GPT-5.6 Sol의 22.4%에서 크게 오른 수치다. 다른 벤치마크에서도 점수가 소폭 상승했지만, Science만큼 인상적인 결과는 없었다.

하지만 펠리컨은 얼마나 잘 그릴까?

지난 7월 나는 펠리컨 벤치마크에 대한 신뢰를 잃어가고 있다고 썼다. 다른 작업에서의 모델 성능과의 연관성이 2025년 당시만큼 강하게 유지되지 않는 것처럼 보였기 때문이다. 지금 이 벤치마크에서 내가 가장 흥미롭게 보는 것은 모델 패밀리 내에서의 비교, 특히 동일한 프롬프트를 서로 다른 추론 노력 수준으로 실행했을 때의 비교다.

Fable 5.1에는 low, medium, high, xhigh, max 다섯 단계의 추론 수준이 있으며, 추론을 완전히 끄는 옵션은 없다.

나는 llm-anthropic에서 추론 과정이 제대로 기록되지 않던 문제를 고친 뒤 몇 가지 프롬프트를 실행해 봤다.

다음은 모든 추론 수준별로 생성된 펠리컨 전체 모음으로, 각각 전체 추론 기록이 포함되어 있다. 여기서도 그대로 옮겨 본다:

Low와 medium, 둘 다 추론 없이?

다음은 약간 미스터리한 부분이다. effort를 low로 했을 때 나온 결과는 다음과 같다:

기록에는 요약된 추론 토큰이 전혀 표시되지 않으며, 출력 토큰 수는 1,998개다. Claude에서는 이 출력 토큰 수에 추론 토큰이 포함된다. 23.8초가 걸렸고 비용은 10.017센트였다.

이를 medium으로 올려보니 다음과 같은 결과가 나왔다:

이상하게도 이 결과 역시 추론 텍스트가 전혀 표시되지 않았으며, 출력 토큰은 1,977개로 low보다 21개 적었다. 23초가 걸렸고 비용은 9.912센트였다.

따라서 이 특정 프롬프트(“Generate an SVG of a pelican riding a bicycle”)에서는 Fable 5.1이 low와 medium 설정 모두에서 추론을 완전히 건너뛴 것으로 보인다.

High

다음은 high다 — 29.6초, 출력 토큰 2,612개, 13.087센트:

이번에는 약간의 추론을 수행했다, 요약은 여기:

자전거를 타는 펠리컨을 위한 SVG 레이아웃을 계획하고 있다. 하늘과 땅 배경, 스포크가 있는 바퀴 두 개와 프레임, 안장, 핸들로 구성된 자전거, 그리고 그 위에 자리한 긴 목과 주황색 부리를 가진 하얀 몸통의 펠리컨을 구상 중이다.

하지만 low나 medium과 비교해 큰 차이는 없었다.

Extra High

xhigh에서는 상황이 완전히 달라졌다. 출력 토큰 36,767개, 7분 51초, $1.83!

추론 과정은 꽤 길며, 다음과 같은 내용이 포함되어 있다:

눈을 추가하고, 핸들 그립까지 뻗은 날개, 페달까지 닿는 주황색 다리, 작은 꼬리 깃털을 더하면서, 코믹한 효과를 위해 펠리컨을 자전거에 비해 일부러 크게 유지한다. [...]

약간 두꺼운 정도는 과도하게 다듬기보다 매력으로 받아들이겠다.

Max

effort를 max로 설정하자 지금까지 Anthropic 모델들로부터 본 것 중 가장 훌륭한 펠리컨이 나왔다. 출력 토큰 65,927개, 13분 54초, $3.30:

마음에 드는 점이 많다. 배경이 세련되고, 다리는 프레임 양쪽에 분명히 걸쳐 있으며, 발은 페달 위에 있고 날개는 핸들 위에 있다. 펠리컨은 귀여운 파란 모자를 쓰고 있고 물고기가 담긴 바구니도 있다.

Gemini 3.7 Flash만큼의 화려함을 보여주지는 않지만, 애초에 화려함을 요청한 것도 아니다 — 나는 SVG를 요청했고, 그걸 받은 것이다.

그 추론 과정에서 발췌한 몇 가지 하이라이트:

양쪽 발 근처에 페달 모양을 추가하고, 프레임 뒤로 두 번째 다리의 먼 쪽 발이 부분적으로 보이도록 한다. 캐릭터성을 더하기 위해 작은 스카프나 모자를 추가할지 고민 중이지만, 복잡해지는 것을 피하기 위해 단순하게 유지하는 쪽으로 기울고 있다.

이제 머리에 자전거 헬멧을 씌울지, 펠리컨 특유의 벼슬을 유지할지 고민 중이다 — 부리와 주머니가 이미 분명히 “펠리컨”으로 읽히기 때문에 헬멧이 정체성을 잃지 않으면서 자전거 테마를 강화할 수 있지만, 시각적으로 벼슬과 공간을 두고 경쟁할 수도 있다.

(484,84)에 있는 부리가 돔형 헬멧과 겹칠 것 같아 헬멧을 줄여서 정수리만 덮도록 해야겠다. 부리가 충돌 없이 앞쪽에 깔끔하게 붙을 수 있도록 호의 끝점을 더 높고 좁게 조정해야 한다. [...]

첫째날개깃을 표현하기 위해 끝부분에 더 어두운 영역을 추가한 뒤, 하나의 매끈한 선 대신 물결 모양의 깃털 곡선을 넣어 뒷가장자리를 좀 더 자연스럽게 보이도록 다시 고민 중이다. [...]

이제 헬멧의 통풍구 선 배치를 확인 중이다. 스트로크 두께와 둥근 마감을 고려해 헬멧 가장자리 안쪽으로 충분히 들어와 있는지 확인하고, 각 통풍구가 헬멧의 원형 경계 안에 머무는지 점검하고 있다. [...]

핸들바 벨과 타이어 하이라이트는 불필요한 추가 요소라 생략하기로 했다. 이제 앞 포크의 곡선을 다시 고민 중이다 — 현재 제어점이 모양을 뒤로 당기고 있는데, 제대로 된 레이크를 위해서는 앞으로 휘어야 하므로 포크의 기울기를 바로잡기 위해 제어점을 오른쪽으로 옮겨야 한다.

좋아, 애니메이션으로 만들어 보자

Hacker News에서 swalsh가 댓글을 달았다 그 Max 펠리컨에 대해:

이제 벤치마크는 해결됐으니, 애니메이션 버전도 볼 수 있을까요?

3달러를 또 쓰고 싶지 않아서 Max 펠리컨을 가져와 기본 추론 수준인 High로 파이프로 넘겼다:

llm logs -cx | llm -m claude-fable-5.1 -s 'animate this'

입력 6,121개, 출력 26,201개 = $1.37. 결과는 이렇게 나왔다, 일부 사람들이 애니메이션 SVG를 보는 데 어려움을 겪기 때문에 여기서는 비디오로 내보냈다:

비디오에서는 바퀴가 역방향으로 회전하고 있지만, MP4로 변환하는 과정에서 생긴 아티팩트인 것 같다 — 원본 SVG에서는 올바른 방향으로 회전하는 것처럼 보인다.