この記事を書いているのには、まだ明かせないはっきりした理由がある。でも、準備の過程は公開してシェアすることにした。

「high taste tester（ハイ・テイスト・テスター）」とは、各AIラボが、フロンティアモデルに対して評価を下すことが多いインフルエンサーたちを呼ぶときの名称だ。彼らは、FrontierMathやIMOといったいわゆる「標準的な人間エキスパートによるテスト」とは異なり、創造的で面白い方法でモデルを試すことができるからだ。HTTになることにはそれなりの価値があるし、ある程度はフューショット的に学んでそこに到達できると思っている。

以下に、これまで集めてきた事例と、そこから得た学びをまとめておく。

• https://nicholas.carlini.com/writing/2024/my-benchmark-for-large-language-models.html
  • ChatGPTの履歴から事例を拾う
• https://simonwillison.net/2025/Jun/6/six-months-in-llms/
  • ちょっとバカバカしいが、否定しようもなく面白くて視覚的にわかりやすいテスト
  • その他のビジュアル系テスト: https://mcbench.ai/
• EveryのDan Shipper
  • https://every.to/vibe-check/vibe-check-openai-s-4o-image-generation
    • 画像生成のテスト用
  • https://every.to/vibe-check/we-tried-openai-s-new-agent-here-s-what-we-found
    • 「Spotify Wrappedがこの数年でどのように進化してきたかを理解するのを手伝ってほしいと頼んでみた。最初はどんなものだったのか？今では何が新しく含まれているのか？」
  • https://every.to/vibe-check/we-tried-openai-s-new-deep-research-here-s-what-we-found
    • 「Everyがこの5年間でどのように進化してきたかという、広範なタイムラインの作成に使ってみた」
    • 「『戦争と平和』の第一章を読ませ、トルストイが描写を使って登場人物の内面をどう伝えているかに注目させ、そこから彼の人間観について何が読み取れるかを推論させた」
    • 「お気に入りのコーデの写真はこれ、好きなブランドはこれ、体型はX、Y、Z——カプセルワードローブをデザインして、自分のスタイルに合う店を教えて」
    • 法案文書の掘り下げ: 「10〜15年前の大型歳出法案を調べさせ、本来意図された効果が達成されたかを検証させた」
    • 10-Kでの不規則性の発見。誤りや疑わしいデータを含む最近の企業提出書類を探させたところ、deep researchは真新しい問題を自ら掘り起こすのではなく、すでに知られている問題しか提示しなかった。これは、はっきりと促さない限り、真に「調査」するというより、すでに指摘されているものに大きく依存していることを示唆している。
  • https://every.to/vibe-check/vibe-check-openai-enters-the-browser-wars-with-chatgpt-agent
• Ben Hylak
  • https://www.latent.space/p/o1-skill-issue
  • https://www.latent.space/p/o3-pro
• Riley Goodside
  • and Zack Witten
• ユーモアとミーム
  • https://karpathy.github.io/2012/10/22/state-of-computer-vision/ GPT-4で引用 https://x.com/karpathy/status/1635697741925064704
  • その他のミーム
    • https://x.com/andykreed/status/1948066696415330561 ← 人をソートする
    • フューショットな文章プロンプト
      • https://x.com/LemmySmackett/status/1947459499326894157
      • Nate Hindenburg https://x.com/NateHindenburg/status/1948187246495985987
      • https://x.com/patio11/status/1890231454971621651
        • https://threadreaderapp.com/thread/1191678127560216580.html
        • https://threadreaderapp.com/thread/1162561822248992768.html
        • https://threadreaderapp.com/thread/1817955327154831784.html

「自分らしさ」が出るもの

• ツイート要約ツール
• YouTube要約＆タイムスタンプ生成 https://gemini.google.com/gem/da23325c2fca
• https://github.com/openai/codex
  • codex --full-auto "create the fanciest todo-list app"
• https://github.com/swyxio/openai-test-sandbox
• https://github.com/stackblitz-labs/bolt.diy