이 글을 쓰는 데는 아직 공개할 수 없는 구체적인 이유가 있다. 하지만 준비 과정을 공개적으로 공유한다

"하이 테이스트 테스터(high taste tester)"는 랩에서 프론티어 모델에 대해 평가를 내리는 인플루언서들을 부르는 말이다. 이들은 FrontierMath나 IMO 같은 "표준 인간 전문가 테스트"보다 훨씬 창의적이고 흥미로운 방식으로 모델을 테스트할 수 있기 때문이다. HTT가 되는 것은 꽤 가치가 있고, 어느 정도 퓨샷 러닝으로 그 자리까지 갈 수 있다고 생각한다.

내가 모은 사례들과 배운 점은 다음과 같다

• https://nicholas.carlini.com/writing/2024/my-benchmark-for-large-language-models.html
  • ChatGPT 대화 기록에서 예시 가져오기
• https://simonwillison.net/2025/Jun/6/six-months-in-llms/
  • 다소 유치하지만 부인할 수 없이 재미있고 시각적인 테스트
  • 더 많은 시각적 테스트: https://mcbench.ai/
• every.to dan shipper
  • https://every.to/vibe-check/vibe-check-openai-s-4o-image-generation
    • 이미지 생성 테스트용
  • https://every.to/vibe-check/we-tried-openai-s-new-agent-here-s-what-we-found
    • "Spotify Wrapped가 수년에 걸쳐 어떻게 발전해 왔는지 이해하도록 도와달라고 요청했다. 처음에는 무엇이었는지, 지금은 무엇이 새로 포함되어 있는지?"
  • https://every.to/vibe-check/we-tried-openai-s-new-deep-research-here-s-what-we-found
    • "지난 5년간 Every가 어떻게 발전해 왔는지에 대한 방대한 타임라인에 적용해 봤다"
    • "『전쟁과 평화』 1장을 읽고 톨스토이가 묘사를 통해 인물의 내면을 어떻게 드러내는지 짚어낸 뒤, 그것이 인간 본성에 대한 그의 관점에 대해 무엇을 말해주는지 추론해 달라고 요청했다."
    • "내가 가장 좋아하는 옷을 입은 사진이야. 나는 이런 브랜드들을 좋아하고, 신체 비율은 X, Y, Z야—캡슐 워드로브를 디자인하고 내 스타일에 맞는 상점을 추천해 줘."
    • 입법 문서 파헤치기: "deep research에 10~15년 전의 대규모 지출 법안을 찾아보고 의도한 효과가 달성됐는지 검증해 달라고 요청했다."
    • 10-K 보고서에서 이상 징후 찾기. 오류나 의심스러운 데이터가 있는 최근 기업 공시를 찾아달라고 하자, deep research는 완전히 새로운 문제를 발굴하기보다 이미 알려진 이슈만 드러냈다. 이는 명시적으로 캐묻지 않으면 진정으로 "조사"하기보다 이미 플래그가 지정된 정보에 크게 의존한다는 것을 시사한다.
  • https://every.to/vibe-check/vibe-check-openai-enters-the-browser-wars-with-chatgpt-agent
• ben hylak
  • https://www.latent.space/p/o1-skill-issue
  • https://www.latent.space/p/o3-pro
• riley goodside
  • 그리고 zack witten
• 유머와 밈
  • https://karpathy.github.io/2012/10/22/state-of-computer-vision/ gpt4에서 인용됨 https://x.com/karpathy/status/1635697741925064704
  • 기타 밈
    • https://x.com/andykreed/status/1948066696415330561 <- 사람 분류
    • 퓨샷 글쓰기 프롬프트
      • https://x.com/LemmySmackett/status/1947459499326894157
      • nate hindenburg https://x.com/NateHindenburg/status/1948187246495985987
      • https://x.com/patio11/status/1890231454971621651
        • https://threadreaderapp.com/thread/1191678127560216580.html
        • https://threadreaderapp.com/thread/1162561822248992768.html
        • https://threadreaderapp.com/thread/1817955327154831784.html

"내 것"인 것들

• 트윗 요약기
• 유튜브 요약 및 타임스탬프 생성기 https://gemini.google.com/gem/da23325c2fca
• https://github.com/openai/codex
  • codex --full-auto "create the fanciest todo-list app"
• https://github.com/swyxio/openai-test-sandbox
• https://github.com/stackblitz-labs/bolt.diy