複数の報告によれば、ウェブは断片を失いつつある。毎年、古いウェブページの一部が消え、二度と戻ってこない。インターネットアーカイブは現代史において最も貴重な存在の一つと見なされるべきなのに、多くの企業や団体が、アーカイブが存続し、さもなければ失われてしまうものを蓄積していく可能性を、ますます困難にしている。アーカイブの本部はかつて教会だった建物にあると聞くが、これを神聖な場所と考える以上にふさわしい捉え方はないだろう。

かつてプログラマーたちがSpectrumでZ80アセンブリをいじりながら費やした長い時間を想像してみてほしい。初期のインターネットをめぐるあらゆる議論。90年代に生まれたサブカルチャー。そうしたものすべてが、少しずつ失われつつある。

そして個人のブログはどうだろうか。一人ひとりが意識の一部をインターネットに注ぎ込んだ、人生の断片である。出版社が倒産し、ウェブサイトが閉鎖されることで永遠に失われる科学論文や研究の過程。初期のデジタルアート、ビデオゲーム、かつてインターネットで公開され今は失われた気候データ、そして多くのニュースソースもまた然りだ。

これは知られた問題だが、すべてを保存しようとする自明なアプローチは、現実的な理由から失敗に終わると思う。多大な労力がかかるのに経済的な見返りはゼロなのだ。今の世界は、多額のコストがかかるのに金にならない努力をするには、決して最適な場所とは言えない。だからこそ、たとえ不正確で、幻覚を含み、欠落があっても、情報を圧縮するLLMの能力は、何もないよりはましだと私は思う。DeepSeek V3はすでに公開されている、インターネットを非可逆圧縮した姿であり、他の超大規模な最先端モデルも同様だ。

これで失われつつあるものすべてが戻ってくるわけではないし、私たちはインターネットアーカイブや同様の機関・取り組みを懸命に支援すべきだ。しかし同時に、もっとシンプルな取り組みにも目を向けるべきだ。公開されたLLMの重みが失われないようにすること、そしてアーカイブ自体が事前学習データセットの一部に含まれるようにすることである。