現時点のLLMについては、かなり複雑な意見を持っています。このノートでは、そこに踏み込みません。その話をしたいわけではないので。

とはいえ、ここで最先端の研究をしているわけではありませんが、人間に向けて公開する文章を書くことには力を注いでいます。ここで10分かけて書いたものが、将来、何人かの時間を節約できるかもしれないと思えるのが好きです。

誰かがモデルを作って、それをサブスクリプションで販売するためにやっているわけではありません。

新しいrobots.txtでは、既知のLLMクローラーのうち、いくつかのユーザーエージェントを除外しています。掲載したクローラーのほとんどは確認済みで、それぞれ出典も示しています。ニュース出版社のrobots.txtもかなり参考になります。LLMをブロックしているからです。

同じことをしたいなら、どうぞ私のものを使ってください！

# I know this can just be _totally_ ignored by crawlers
# But let's hope they behave well :)

# Code: https://github.com/ellie/notes
# Source: https://darkvisitors.com/

# OpenAI, ChatGPT
# https://platform.openai.com/docs/gptbot
User-agent: GPTBot
Disallow: /

# Google AI (Bard, etc)
# https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers
User-agent: Google-Extended
Disallow: /

# Block common crawl
# I have mixed feelings on this one, but many models are trained on this data
# It is also used to bootstrap new search indices though
# https://commoncrawl.org/ccbot
User-agent: CCBot
Disallow: /

# Facebook
# https://developers.facebook.com/docs/sharing/bot/
User-agent: FacebookBot
Disallow: /

# Cohere.ai
# https://darkvisitors.com/agents/cohere-ai
User-agent: cohere-ai
Disallow: /

# Perplexity
# https://docs.perplexity.ai/docs/perplexitybot
User-agent: PerplexityBot
Disallow: /

# Anthropic
# https://darkvisitors.com/agents/anthropic-ai
User-agent: anthropic-ai
Disallow: /

# ...also anthropic
# https://darkvisitors.com/agents/claudebot
User-agent: ClaudeBot
Disallow: /