지금 LLM에 대해서는 생각이 매우 복잡하다. 이 글에서 그 생각을 깊게 파고들 생각은 없다. 그런 논쟁을 하고 싶지 않다.

물론 여기서 최첨단 연구를 하고 있는 건 아니지만, 그래도 사람을 위해 글을 쓰는 데 나름 노력을 들이고 있다. 여기에 10분 들여 쓴 글이 나중에 몇몇 사람의 시간을 아껴줄 수 있다는 걸 알면 기분이 좋다.

누군가 모델을 만들어 구독제로 팔라고 이러는 게 아니다.

새 robots.txt에서는 알려진 LLM 크롤러 다수의 유저 에이전트를 차단하도록 설정했다. 목록에 넣은 크롤러 대부분은 확인된 것이며 각각 출처도 달아두었다. 언론사들의 robots.txt도 꽤 참고할 만한데, 그들 역시 LLM을 차단하고 있기 때문이다.

같이 차단하고 싶다면 내 것을 그대로 가져다 써도 좋다!

# I know this can just be _totally_ ignored by crawlers
# But let's hope they behave well :)

# Code: https://github.com/ellie/notes
# Source: https://darkvisitors.com/

# OpenAI, ChatGPT
# https://platform.openai.com/docs/gptbot
User-agent: GPTBot
Disallow: /

# Google AI (Bard, etc)
# https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers
User-agent: Google-Extended
Disallow: /

# Block common crawl
# I have mixed feelings on this one, but many models are trained on this data
# It is also used to bootstrap new search indices though
# https://commoncrawl.org/ccbot
User-agent: CCBot
Disallow: /

# Facebook
# https://developers.facebook.com/docs/sharing/bot/
User-agent: FacebookBot
Disallow: /

# Cohere.ai
# https://darkvisitors.com/agents/cohere-ai
User-agent: cohere-ai
Disallow: /

# Perplexity
# https://docs.perplexity.ai/docs/perplexitybot
User-agent: PerplexityBot
Disallow: /

# Anthropic
# https://darkvisitors.com/agents/anthropic-ai
User-agent: anthropic-ai
Disallow: /

# ...also anthropic
# https://darkvisitors.com/agents/claudebot
User-agent: ClaudeBot
Disallow: /