현시점의 LLM에 대해서는 생각이 꽤 복잡해요. 이 글에서는 그 생각을 깊게 파고들 생각은 없어요. 그런 논쟁은 하고 싶지 않거든요.

물론 여기서 최첨단 연구를 하는 건 아니지만, 그래도 사람을 위해 글을 쓴다는 마음으로 정성을 들여 발행하고 있어요. 제가 10분 들여 쓴 글이 나중에 누군가의 시간을 조금이라도 아껴줄 수 있다면 그걸로 좋거든요.

누군가 이걸 가져가 모델을 만들고 유료 구독으로 팔라고 쓰는 글은 아니에요.

그래서 새로 바꾼 robots.txt에서는 알려진 LLM 크롤러들의 user agent를 차단하도록 했어요. 제가 적은 크롤러 대부분은 확인된 것들이고, 각각 출처도 함께 적어두었어요. 뉴스 매체들의 robots.txt도 꽤 참고할 만해요. 그쪽에서도 LLM을 차단하고 있거든요.

똑같이 설정하고 싶으시다면 제 걸 그대로 가져다 쓰셔도 좋아요!

# I know this can just be _totally_ ignored by crawlers
# But let's hope they behave well :)

# Code: https://github.com/ellie/notes
# Source: https://darkvisitors.com/

# OpenAI, ChatGPT
# https://platform.openai.com/docs/gptbot
User-agent: GPTBot
Disallow: /

# Google AI (Bard, etc)
# https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers
User-agent: Google-Extended
Disallow: /

# Block common crawl
# I have mixed feelings on this one, but many models are trained on this data
# It is also used to bootstrap new search indices though
# https://commoncrawl.org/ccbot
User-agent: CCBot
Disallow: /

# Facebook
# https://developers.facebook.com/docs/sharing/bot/
User-agent: FacebookBot
Disallow: /

# Cohere.ai
# https://darkvisitors.com/agents/cohere-ai
User-agent: cohere-ai
Disallow: /

# Perplexity
# https://docs.perplexity.ai/docs/perplexitybot
User-agent: PerplexityBot
Disallow: /

# Anthropic
# https://darkvisitors.com/agents/anthropic-ai
User-agent: anthropic-ai
Disallow: /

# ...also anthropic
# https://darkvisitors.com/agents/claudebot
User-agent: ClaudeBot
Disallow: /